Zmyślone fakty: Skąd ta pewność w halucynacjach SI?

Wzrost popularności Dużych Modeli Językowych (LLM – Large Language Model) przyniósł rewolucję w dostępie do informacji. Fascynacja ich możliwościami bywa jednak przerywana przez zaskakujące doświadczenie: model, który z pełnym przekonaniem podaje fałszywe dane, wymyśla cytaty, a nawet fabrykuje całe artykuły naukowe. Niepokojące jest nie samo wystąpienie błędu – maszyny mają prawo się mylić – ale towarzysząca mu absolutna pewność siebie. Ta lingwistyczna arogancja, znana jako halucynacje SI, stawia fundamentalne pytanie: skąd maszyna, która nie posiada świadomości ani woli, czerpie tak bezwzględne przekonanie o słuszności zmyślonych przez siebie faktów? Paradoks ten jest kluczowy dla zrozumienia zarówno ograniczeń, jak i przyszłości sztucznej inteligencji.

Gdy model zmyśla fakty: Skąd bierze się ta absolutna pewność?

Halucynacje SI są w istocie produktem ubocznym mechanizmu, na którym opierają się Duże Modele Językowe – przewidywania następnego tokenu. Model nie ma pojęcia o świecie obiektywnym; jego jedyną miarą jest prawdopodobieństwo statystyczne, że dany ciąg słów jest najbardziej logiczną i spójną kontynuacją zadanego kontekstu. Kiedy model natrafia na lukę w swojej wiedzy, na przykład zapytany o nieistniejącego naukowca, nie jest w stanie powiedzieć „nie wiem”. Zamiast tego, generuje odpowiedź, która brzmi najbardziej „faktograficznie”, ponieważ styl narracyjny cechujący pewność (np. brak słów takich jak „prawdopodobnie” czy „możliwe”) ma najwyższy statystyczny wskaźnik spójności językowej.

Pewność modelu jest więc czysto retoryczna, a nie poznawcza. Modele te były trenowane na ogromnych zasobach tekstów ludzkich, które zawierają zarówno autentyczne dane, jak i mnóstwo pewnych siebie, ale fałszywych lub niezweryfikowanych twierdzeń. SI uczy się, że formalny, autorytatywny ton jest cechą charakterystyczną profesjonalnego dyskursu. Kiedy model jest proszony o podanie źródła lub daty, generuje strukturę, która wygląda jak cytat – imię, nazwisko, tytuł, rok – ponieważ nauczył się tej gramatyki cytowania. To, czy konkretne imię i nazwisko faktycznie istnieje, jest dla algorytmu drugorzędne; najważniejsze jest, by struktura zdania była płynna i nie budziła podejrzeń.

Mechanizm ten jest szczególnie widoczny, gdy model musi ekstrapolować dane. Jeśli dane treningowe zawierają miliony przykładów, w których „Winston Churchill” był premierem, a tylko jeden, w którym „Kowalski” był prezesem nieistniejącej firmy, model w sytuacji braku twardych danych ma tendencję do generowania „Kowalskiego” z taką samą pewnością, jak gdyby mówił o Churchillu. Dzieje się tak, ponieważ statystycznie uwiarygodnił on całą sekwencję słów (imię, nazwisko, stanowisko) jako poprawny wzorzec, niezależnie od jego zakorzenienia w rzeczywistości. Pewność jest zatem wskaźnikiem statystycznej gładkości generowanego tekstu.

Dlaczego prawdopodobieństwo nie oznacza prawdy w dużych modelach?

Klucz do zrozumienia halucynacji leży w rozróżnieniu między prawdopodobieństwem językowym a prawdą obiektywną. Duże Modele Językowe są optymalizowane pod kątem maksymalizacji prawdopodobieństwa, że sekwencja słów jest poprawna gramatycznie i stylistycznie w danym kontekście. Jeśli model ma do wyboru dwie opcje – 95% prawdopodobieństwa na podanie realnego, ale stylistycznie niepasującego faktu, lub 96% prawdopodobieństwa na wygenerowanie zmyślonego faktu, który idealnie pasuje do tonu poprzednich zdań – często wybierze tę drugą opcję. Dla maszyny, koherencja lingwistyczna jest ważniejsza niż weryfikowalność zewnętrzna.

Ponadto, halucynacje są często wzmacniane przez błędy w samym procesie treningowym lub nieprecyzyjne konteksty. Jeśli dane treningowe są pełne sprzecznych informacji na dany temat, model uśrednia te sprzeczności, tworząc hybrydowy, nieprawdziwy fakt, który jest jednak statystycznie najbardziej reprezentatywny dla całości danych. Co więcej, parametry kontrolujące kreatywność modelu, takie jak „temperatura”, mogą zwiększyć szansę na halucynację. Wyższa temperatura zachęca model do wybierania tokenów o niższym prawdopodobieństwie, co prowadzi do bardziej nieprzewidywalnych, a tym samym częściej fałszywych, ale wciąż płynnych językowo, odpowiedzi.

Brak mechanizmu ugruntowania (ang. grounding) jest najbardziej fundamentalnym problemem. W przeciwieństwie do ludzi, którzy mogą zweryfikować informację, odwołując się do pamięci, książek czy internetu, DMJ nie mają wewnętrznego systemu weryfikacji faktów po ich wygenerowaniu. Po wypluciu ciągu tokenów, dla modelu zadanie jest zakończone. Jeśli model generuje twierdzenie, które jest wewnętrznie spójne (np. „Prezydent Kowalski podpisał ustawę X w 1998 roku”), ale fałszywe, nie ma on narzędzia, aby cofnąć się i sprawdzić bazę danych, która potwierdziłaby, że „Prezydent Kowalski” nigdy nie istniał. Prawdopodobieństwo jest więc ślepą uliczką – zapewnia płynność, ale nie gwarantuje prawdy.

Halucynacje SI i towarzysząca im pewność siebie są przypomnieniem, że pracujemy z zaawansowanymi maszynami statystycznymi, a nie z myślącymi umysłami. Pewność w halucynacjach jest jedynie fasadą retoryczną, efektem ubocznym dążenia modelu do maksymalnej koherencji językowej. Aby zminimalizować to zjawisko, przyszłe prace nad SI muszą koncentrować się na ugruntowaniu generowanego tekstu w zewnętrznych, weryfikowalnych źródłach (np. poprzez architekturę RAG – Retrieval-Augmented Generation), zamiast polegać wyłącznie na wewnętrznej, statystycznej spójności. Tylko wtedy będziemy mogli w pełni ufać informacjom podawanym przez sztuczną inteligencję.