Rozhoduje u vás člověk, nebo jen razítkuje, co řekla AI?

Hranice mezi „AI připraví podklady“ a „AI rozhodne“ je věcí procesu, ne technologie. Ztenčí se přesně ve chvíli, kdy má člověk formálně poslední slovo, ale prakticky jen odklikává, co mu systém předložil. Tomuhle jevu se říká automation bias: sklon věřit automatizovanému výstupu i tam, kde by zdravý rozum měl zpozornět. Roste z procesu, který nikoho nenutí o doporučení přemýšlet, takže ho těžko svedete na lenost konkrétního manažera.

Rámce pro řízení rizik AI tenhle problém pojmenovávají už roky.

• NIST AI Risk Management Framework, dobrovolný rámec amerického Národního institutu standardů a technologie z ledna 2023, stojí na čtyřech funkcích (Govern, Map, Measure, Manage). Hned v té první chce po firmách jasně určit a rozlišit, kdo v rozhodování a v dohledu nad AI systémem hraje jakou roli.
• OECD AI Principles, aktualizované v květnu 2024, chtějí po všech, kdo s AI pracují, konkrétní pojistky, mezi nimi „schopnost lidského jednání a dohledu“. Podstatné slovo je schopnost: samotná přítomnost člověka u procesu nestačí.
• Evropský AI Act u vysoce rizikových systémů lidský dohled přímo vyžaduje a jmenovitě varuje před „tendencí automaticky nebo nadměrně spoléhat na výstup“. Náborové a hodnoticí nástroje do téhle kategorie spadají a vymahatelnou povinností se to pro ně stane 2. prosince 2027. Původně měl platit srpen 2026, ale červencová novela, nařízení (EU) 2026/1744, termín posunula a zároveň ho zafixovala.

Detaily paragrafů nechme právníkům. Zajímavější je otázka, kterou za vás nikdo z nich nezodpoví.

Nábor: kde se hranice rozmazává jako první

Nábor je disciplína, kde AI dnes odvede nejvíc práce a kde se rozdíl mezi asistencí a rozhodováním ztrácí nejrychleji. Typický scénář: systém projede stovky životopisů, oboduje je podle shody s popisem pozice a recruiterovi předloží užší výběr, řekněme dvacet jmen ze dvou set. Na papíře asistence. V praxi rozhodnutí, protože zbylých sto osmdesát lidí se o pozici nedozví, natož aby jejich životopis někdo otevřel.

Riziko není hypotetické. Studie Harvard Business School a Accenture Hidden Workers: Untapped Talent z roku 2021 zjistila, že 88 % zaměstnavatelů u vysoce kvalifikovaných pozic si samo o sobě myslí, že jim kvalifikovaní uchazeči vypadávají z výběru jen proto, že přesně neodpovídají kritériím v popisu pozice. U pozic se střední kvalifikací je to 94 %. Software k tomu prvnímu filtrování používá víc než devět z deseti firem. Stačí tedy, aby kandidátovi v životopise chybělo pár klíčových slov, a je venku dřív, než se na něj kdokoli podívá. Když navíc systém dlouhodobě upřednostňuje určité vzorce, konkrétní školy, obraty v životopise nebo typické kariérní dráhy, roztáčí kolo, které s kvalitou kandidáta nesouvisí.

Stejný mechanismus funguje u automatického zamítání. Ve chvíli, kdy systém sám odešle odmítací e-mail a na konkrétní případ se nikdo nepodívá, se asistence tiše překlopila do rozhodování. Dobrá zpráva je, že tenhle bod jde změřit: buď u vás existuje záznam, že člověk případ otevřel a měl šanci nesouhlasit, nebo neexistuje.

Hodnocení výkonu a plánování směn: tichá autorita čísla

Druhý scénář je zákeřnější, protože vypadá jako neškodný podklad. AI vygeneruje shrnutí výkonu zaměstnance z celoročních dat: docházka, splněné úkoly, zpětná vazba od kolegů. Manažer dostane hotový text i návrh hodnocení a často ho jen zkopíruje do formuláře, protože zní rozumně, je hotový a on má za sebou dlouhý den.

MIT Sloan Management Review a Boston Consulting Group tomuhle říkají rubber-stamping: bez porozumění tomu, jak a proč systém k doporučení došel, se z dohledu stane razítko místo kontroly. Mezinárodní panel expertů, který k výzkumu přizvali, dostal otázku, jestli dobře fungující lidský dohled snižuje potřebu vysvětlitelnosti systému. Sedmasedmdesát procent expertů odpovědělo, že ne.

U plánování směn je mechanismus stejný, jen s jinou váhou důsledků. Systém navrhne rozpis podle dostupnosti, produktivity a nákladů. Vedoucí týmu ho odklikne, protože rozporovat algoritmus, který „to spočítal“, stojí čas a argumenty. Jenže algoritmus nevidí, že zaměstnankyně dva týdny řeší náhradní péči o dítě nebo že dva lidé v týmu spolu dlouhodobě nevycházejí. Přesně tenhle kontext má lidský dohled do procesu vracet. Když ho nevrací, z plánovače směn se stane autorita, kterou mu nikdo nedal.

Jak nastavit proces, aby člověk skutečně rozhodoval

Rozdíl mezi human-in-the-loop a human-on-the-loop není akademická hříčka. Oba pojmy pochází z evropských etických pravidel pro důvěryhodnou AI a popisují dvě různé situace:

• Human-in-the-loop znamená, že člověk je aktivní součástí rozhodnutí a může ho zastavit nebo změnit dřív, než nastane.
• Human-on-the-loop znamená, že člověk sleduje provoz systému, který běží sám, a zasáhne, až když si všimne problému.

Rozdíl se ukáže ve chvíli, kdy se něco pokazí a hledá se odpovědnost. Sledovat proces není totéž co ho řídit.

Prakticky to znamená čtyři věci, které se dají zavést bez jediné právní konzultace.

1. Výstup AI nesmí být jediné, co má rozhodující člověk před sebou. Potřebuje vidět i data, ze kterých systém vycházel, a alternativy, které zavrhl. Jinak nemá na základě čeho nesouhlasit.
2. Nesouhlasit musí být stejně snadné jako souhlasit. Pokud potvrzení doporučení trvá pět vteřin a jeho zpochybnění patnáct minut papírování, lidé si vyberou pět vteřin pokaždé. Ať máte směrnici o lidském dohledu napsanou sebelíp.
3. Měřte, jak často se doporučení AI reálně mění, ne jestli je proces formálně dodržený. Nula změn po třech měsících neznamená, že je AI neomylná. Většinou znamená, že dohled je fikce.
4. Ke každému rozhodnutí, které se dotýká člověka (přijetí, zamítnutí, hodnocení, přidělení směny), patří jedna věta zdůvodnění, kterou napíše ten, kdo rozhodl, ne systém. Pokud ji nedokážete napsat, rozhodnutí jste ve skutečnosti neudělali vy.

Jedno pravidlo, které stačí zavést hned

Nepotřebujete kompletní AI governance dokument na čtyřicet stran, abyste s tím začali. Stačí jedna věta do interní směrnice, kterou může HR zavést tento týden:

Zní to jako byrokracie navíc, ale je to nejlevnější způsob, jak rozdíl mezi radou a rozhodnutím zviditelnit, změřit a vymáhat. A zároveň dobrý test pro každou firmu, která tvrdí, že u ní rozhoduje člověk: kdybyste tuhle větu zavedli zítra, kolik rozhodnutí z minulého měsíce by jí prošlo?

Zdroje

• NIST, AI Risk Management Framework (AI RMF 1.0), leden 2023
• OECD, AI Principles, aktualizace z května 2024, princip 1.2 a v něm „capacity for human agency and oversight“
• Nařízení (EU) 2024/1689 (AI Act), článek 14 odst. 4 písm. b) s definicí automation bias a recitál 57 k systémům používaným v zaměstnávání
• Harvard Business School a Accenture, Hidden Workers: Untapped Talent, 2021 (88 % zaměstnavatelů u vysoce kvalifikovaných pozic, 94 % u pozic se střední kvalifikací)
• MIT Sloan Management Review a Boston Consulting Group, AI Explainability: How to Avoid Rubber-Stamping Recommendations, 2025 (mezinárodní panel expertů na AI, 77 % odmítlo, že by lidský dohled snižoval potřebu vysvětlitelnosti)
• Expertní skupina Evropské komise pro AI, Ethics Guidelines for Trustworthy AI, 2019 (původ pojmů human-in-the-loop a human-on-the-loop)
• Nařízení (EU) 2026/1744 (Digital Omnibus on AI), Úřední věstník EU z 24. 7. 2026, nový termín 2. prosince 2027 pro vysoce rizikové systémy podle přílohy III
• M. Goddard, A. Roudsari, J. C. Wyatt, Automation bias: a systematic review of frequency, effect mediators, and mitigators, Journal of the American Medical Informatics Association, 2012

Adam Homola

Editor in chief, Benefit pro HR

Adama dlouhodobě fascinuje, jak věci fungují - lidé, týmy i celé organizace. Svůj zájem o lidské procesy propojuje s technologiemi, zejména s AI, kterou vnímá jako nástroj. Píše, edituje a kurátorsky vybírá obsah opřený o data a evidence-based přístup; jeho cílem je srozumitelně převádět komplexní témata do praxe HR a managementu. Dlouhodobě se věnuje digitální tvorbě a se zaujetím sleduje, jak technologický pokrok ovlivňuje práci i životy lidí.