Prečo AI halucinuje? Tak to je otázka ktorú si dnes pokladá mnoho používateľov jazykových modelov ako ChatGPT a podobne. Halucinácie v umelej inteligencii znamenajú, že model vytvorí odpoveď, ktorá znie presvedčivo, ale nie je pravdivá. Model si jednoducho niečo „vymyslí“ a podá to tak, akoby to bola overená informácia. Tento jav je dnes jednou z najväčších slabín jazykových modelov.

Prečo k halucináciám dochádza

1. Dáta, z ktorých sa model učí
Model sa trénuje na obrovskom množstve textov z internetu. V týchto textoch sa však nachádzajú aj chyby a nepresnosti. Keďže model nerozoznáva, čo je správne a čo nie, vie ich opakovať.

2. Ako model funguje
Jazykový model nepracuje s faktami, ale s pravdepodobnosťou. Snaží sa odhadnúť, aké slovo má prísť za iným, aby veta znela prirodzene. To, že veta dáva zmysel, ešte neznamená, že je pravdivá.

3. Chýbajúce overenie
Model si neoveruje informácie v externých zdrojoch, pokiaľ mu ich špeciálne nepripojíme. Preto sa spolieha iba na to, čo má „naučené“, aj keď je to nesprávne alebo zastarané.

4. Samotné limity technológie
Niektorí odborníci tvrdia, že halucinácie sú prirodzenou súčasťou toho, ako modely fungujú. Nedokážu mať úplný prehľad o realite, iba o vzoroch v textoch, z ktorých sa učili.

Typy halucinácií

• Vymyslené fakty – model povie názov knihy, ktorá neexistuje, alebo meno človeka, ktorý nikdy nežil.

• Sebavedomé chyby – model odpovie veľmi presvedčivo, aj keď jeho odpoveď nie je správna.

• Náhodné odchýlky – rovnaká otázka môže niekedy priniesť inú odpoveď, pretože vo výpočtoch je vždy určitá náhoda.

Dôsledky v praxi

Halucinácie sú nepríjemné, ak sa AI používa na hľadanie faktov. V bežnej konverzácii to až tak nevadí, no v odbornej sfére môže ísť o veľký problém. Štúdie ukázali, že pri právnych otázkach dokázali modely halucinovať v desiatkach percent prípadov. V medicíne alebo biznise môže nesprávna odpoveď spôsobiť škody alebo zavádzanie používateľov.

Ako sa halucináciám dá predchádzať

1. Pripojenie k overeným zdrojom (RAG)
Model môže mať prístup k databázam, dokumentom alebo internetu, aby si informácie overil. Tým sa znižuje riziko halucinácií.

2. Dodatočná kontrola odpovedí
Na výstupy sa môže použiť ďalší menší model alebo algoritmus, ktorý skontroluje, či odpoveď nie je nezmyselná.

3. Uvedenie neistoty
Ak si model nie je istý, môže namiesto vymýšľania radšej povedať „neviem“. To pôsobí dôveryhodnejšie než vymyslená odpoveď.

4. Akceptovanie v kreatívnych oblastiach
Halucinácie sú problém v právnych alebo medicínskych témach, no pri kreatívnom písaní môžu byť naopak prínosné. Tam, kde je dôležitá fantázia, môžu tieto „výmysly“ pôsobiť ako zdroj inšpirácie.

Záver

Halucinácie vznikajú preto, že jazykové modely predpovedajú slová na základe vzorov, nie na základe faktov. V kombinácii s nepresnými alebo starými dátami to vedie k tomu, že model občas vytvorí nepravdivý obsah. Dnes existujú techniky, ktoré halucinácie obmedzujú, ako napríklad pripojenie modelov k databázam či kontrolné algoritmy. Úplne sa ich však zbaviť nedá. Preto je dôležité používať tieto nástroje s rozumom a nebrať ich odpovede ako vždy stopercentne správne.