Kde se AI ve firmě vyplatí a kde jen pálí peníze

V některých procesech umělá inteligence výrazně sníží náklady a zrychlí práci. Jinde firma uvěří, že půjde automatizovat všechno, a výsledkem je ztráta. Model bývá v obou případech podobně schopný. Liší se to, jak velká část procesu běží bez kontroly a kdo si všimne chyby.

Autonomie bez zábran

Agent, který běží sám, s právem zápisu a bez lidského dohledu, dělá chyby, které na první pohled nevypadají jako chyby. Přepíše záznamy v databázi, protože jim „rozuměl“ jinak. Při migraci starého systému převede data podle pravidel, která platila pro většinu řádků, a historické výjimky tiše rozbije.

Každý krok přitom působí věrohodně. Chyba se ukáže až po týdnech, když si zákazník stěžuje nebo nesedí účetnictví. Nejdražší pak nejsou tokeny, ale oprava dat a ztracená důvěra.

Kontroly, které stojí méně než chyba

Zábrany (guardrails) nemusí být složité. Pomáhá několik pravidel:

• Oprávnění. Agent ve výchozím stavu jen čte. Zápis jde přes úzké rozhraní, které povolí jen určené operace.
• Limity. Počet pokusů, čas a rozpočet jsou omezené. Po jejich vyčerpání agent přestane a vysvětlí, co nedokončil.
• Sada správných odpovědí. Připravte případy, u kterých znáte správný výsledek (answer keys), a pouštějte je před nasazením i po každé změně. U migrace to znamená porovnat počty záznamů a součty mezi starým a novým systémem.
• Více stupňů ověření. Úspěšné spuštění neznamená správný výsledek. Výstup má projít kontrolou pravidel a teprve pak jít dál.

Člověk na konci procesu

Člověk nemusí kontrolovat všechno. Měl by ale schvalovat místa, kde je chyba drahá nebo nevratná: zveřejnění obsahu, peníze, data zákazníků, migrace bez cesty zpět. Agent připraví návrh, člověk ho potvrdí.

Sledujte, jak často člověk výstup opravuje. Když opravy dlouhodobě ubývají, můžete autonomii rozšiřovat po malých krocích. Když přibývají, proces zatím na samostatný provoz připravený není.

Před automatizací se vyplatí položit jednu otázku: co se stane, když se agent splete, a kdo to zjistí? Pokud je odpověď „nikdo, dokud si nestěžuje zákazník“, zábrany chybí.