Kdy odložit dohledání hodnot a použít menší model

Agent potřebuje najít obor v číselníku s tisíci položkami. Když celý seznam přidáme do promptu pro sestavení SQL, model zároveň řeší strukturu dotazu i hledání jedné hodnoty. Kontext roste, přestože většina položek nebude potřeba.

Tyto úkoly lze rozdělit. Generátor vytvoří strukturu dotazu a u dosud neznámé hodnoty ponechá parametr. Samostatný krok dohledá odpovídající záznam.

Parametr místo odhadnutého kódu

Generátor například určí, že filtr potřebuje kód lokality odpovídající Praze. Resolver načte kandidátní hodnoty a vrátí ověřený kód. Aplikace ho předá databázi jako parametr dotazu.

U malého číselníku lze porovnat celý seznam. U velkého je potřeba nejprve vyhledat kandidáty. Pokud jich odpovídá více nebo žádný, resolver musí vrátit i tento stav. Nucená volba jedné položky by jen schovala původní nejistotu.

Oddělení pomáhá také při změně kódů. Mapování se opírá o aktuální číselník, jeho načítání a případná cache však musejí změny skutečně zachytit.

Jak vybrat model pro dílčí úkol

Výběr z krátkého seznamu může zvládnout menší model. Přesnou shodu nebo jednoznačné mapování často vyřeší běžný kód. Složitější plánování dotazu může potřebovat jiný model.

Rozhodnutí opřete o příklady z aplikace. Porovnejte chybovost, dobu odezvy a cenu. Strukturovaný výstup usnadní kontrolu formátu, ale neověří, že vybrané ID odpovídá správnému pojmu.

Co lze spustit současně

Dohledání několika nezávislých hodnot může běžet paralelně. Další krok musí dostat jasný výsledek každé větve včetně chyb. Omezte celkový počet volání a čas, aby rozdělení práce nepřineslo více režie než úspory.

Na konci je užitečné vědět, kolik času zabralo hledání hodnot, generování a ověřování. Pak lze zrychlit konkrétní pomalý krok a ověřit, zda se nezhoršila kvalita odpovědí.