Jak vybírat kontext pro bota nad velkou databází

Databáze má stovky tabulek, ale jedna otázka obvykle potřebuje jen několik z nich. Poslat modelu celé schéma je snadné na implementaci. Hůř se pak sleduje, proč zvolil určitou tabulku a které informace při odpovědi využil.

Práci s kontextem lze rozdělit na přípravu předem a načítání podle otázky. Připomíná to přesýpací hodiny: velký soubor znalostí se zúží přes konkrétní požadavek na menší výběr podkladů.

Co připravit předem

Do vyhledávacího indexu patří názvy a popisy tabulek, sloupců i doménové pojmy. Vedle něj se hodí úložiště vztahů: cizí klíče, možné cesty spojení a odkazy na číselníky.

Podle potřeby lze připravit i základní statistiky, například přibližný počet řádků. U každého údaje má být jasné, kdy vznikl. Četnost obnovy musí odpovídat tomu, jak rychle se mění schéma a data; jeden noční běh nemusí stačit všude.

Tato metadata pomáhají data najít a pochopit. Nenahrazují aktuální hodnoty potřebné pro samotnou odpověď.

Kontext doplňujte postupně

Na otázku o počtu lidí v pražské pobočce může agent nejprve vybrat tabulky osob a organizačních jednotek. Potom načte sloupce, vazby a význam potřebných filtrů. Teprve v této chvíli potřebuje zjistit, který záznam označuje pražskou pobočku.

Do kontextu tak postupně přibývá:

1. Výběr kandidátních tabulek.
2. Jejich struktura a potřebné vztahy.
3. Hodnoty číselníků relevantní pro otázku.
4. Podklady pro sestavení a kontrolu dotazu.

Pokud některý údaj chybí, další krok si ho musí umět vyžádat. Příliš brzké zúžení může potřebnou tabulku vyřadit.

Sledujte, co zabírá místo

Jeden rozsáhlý číselník může zaplnit většinu promptu. Omezte proto příspěvek jednotlivých zdrojů a velké seznamy prohledávejte samostatně. Současně uchovejte odkazy na původní metadata, aby bylo možné podklady doplnit.

Velikost kontextu porovnávejte s kvalitou odpovědí, cenou a dobou zpracování. Cílem je dostatek informací pro konkrétní otázku. Nejkratší prompt nemusí být nejlepší, stejně jako nejdelší nemusí být úplný.