Dlaczego AI czasem się myli?

Dlaczego AI czasem się myli? Jak weryfikować i poprawiać odpowiedzi modeli językowych

Generatywna sztuczna inteligencja zadziwia możliwościami: pisze teksty, streszcza dokumenty, tłumaczy języki, zmienia mowę na tekst, generuje obrazki, a nawet żartuje. Ale zdarza się też, że kompletnie się myli. Podaje nieprawdziwe informacje, myli fakty albo wręcz zmyśla,  choć w sposób sugerujący pewność odpowiedzi. Dla wielu osób, szczególnie mniej obytych z technologią, bywa to zaskakujące, a nawet frustrujące. W końcu modele genAI miały być „inteligentne”! Jak w takim razie ufać odpowiedziom i jak sobie radzić kiedy pojawią się problemy z wiarygodnością?

W tym artykule wyjaśnię dlaczego AI popełnia błędy, jak się przed nimi chronić i co możesz zrobić, żeby uzyskać lepsze, dokładniejsze i bardziej przydatne wyniki – nawet jeśli nie jesteś programistą.

Dlaczego AI się myli?

Mówi się, że błądzić jest rzeczą ludzką, lecz, choć AI to nie człowiek, ona również może się mylić. Modele językowe, takie jak ChatGPT, Gemini czy PLLuM generują odpowiedzi na podstawie statystycznych wzorców językowych, których najpierw muszą się nauczyć. Przewidują co powinno pojawić się jako następne słowo w zdaniu, bazując na ogromnych zbiorach danych (m.in. tekstów naukowych, danych z Internetu, wypowiedzi z mediów społecznościowych, ustaw, tekstów literackich). To oznacza, że nie mają one „wiedzy” w naszym, ludzkim, rozumieniu. Jedynie nauczyły się pewnych wzorców, które najczęściej występowały w materiałach, na których się uczyły. Choć modele nie „wiedzą”, co jest prawdą, a co nie – potrafią stworzyć tekst brzmiący przekonująco.

Jakie błędy modele językowe popełniają najczęściej?

Błędy, które powstają, gdy model tworzy zmyślone informacje – np. generuje „fakty”, które nie miały miejsca, przypisuje cytat niewłaściwej osobie lub podaje nieistniejące źródła – nazywamy
halucynacjami. Czasem halucynacje i inne błędy są subtelne, czasem spektakularne, ale zawsze trzeba na nie uważać. Oto najczęstsze pułapki, w jakie można wpaść podczas „rozmów” z generatywną sztuczną inteligencją:

• Halucynacje – zmyślone informacje to najczęściej spotykany i jednocześnie najbardziej mylący błąd. Model generuje odpowiedź, która brzmi wiarygodnie ale zawiera nieprawdziwą informację: cytat, nazwisko, datę, tytuł książki a nawet całą publikację, która nigdy nie powstała (np. by udowodnić tezę). Halucynacje powstają często podczas prób wypełnienia luk w „wiedzy” modelu i zgadywania na podstawie wzorców.
• Przeterminowane dane – Wiele bezpłatnych modeli nie ma dostępu do wyszukiwania w Internecie i korzysta z danych dostępnych do określonego momentu (np. ChatGPT 3.5 miał wiedzę do 2021 roku). Choć obecnie się to zmienia nadal należy uważać w darmowych modelach, które mogą nie mieć dostępu do najnowszych informacji (mogą nie znać trendów, zmian w przepisach czy aktualnych wydarzeń).
• Zbyt ogólne lub powtarzalne odpowiedzi – jeśli zadane pytanie jest zbyt ogólne AI może generować odpowiedź, która będzie długa ale pełna ogólników, lub będzie zawierać te same informacje opisywane innymi słowami (powtórzenia zamiast rozwinięcia tematu).
• Brak spójności i logiki w dłuższych wypowiedziach – podczas generowania dłuższych wypowiedzi model potrafi zmienić styl, ton, a nawet punkt widzenia, co jest związane z wyższym prawdopodobieństwem wystąpienia danych wyrażeń. Czasem może prowadzić to do powstania błędów logicznych w wypowiedzi, zwłaszcza jeśli pytanie jest zbyt ogólne a modelowi brak kontekstu.

Jak weryfikować odpowiedzi AI?

Mając na uwadze możliwość halucynacji i wystąpienia błędów, oraz pamiętając podstawowe techniki prompt engineeringu, można przejść do następnego kroku w pracy z modelami językowymi – weryfikacji odpowiedzi.

Warto przyjąć zasadę ograniczonego zaufania: pierwszą odpowiedź traktować jako szkic, a nie gotowy materiał. Po przeczytaniu należy zastanowić się, czy wszystko ma sens, czy pojawiają się nieścisłości a dane są aktualne.  Jeśli AI podaje dane, statystyki lub fakty należy je sprawdzić! Wyszukiwarka, Wikipedia, strony z oficjalnymi raportami to częste źródła, do których można zajrzeć by upewnić się, co do poprawności odpowiedzi. Model może się mylić – ale użytkownik nie musi powielać tych błędów!

Można też traktować pracę z genAI jako dialog. Po uzyskaniu pierwszego szkicu warto dopytać model, prosząc o podanie źródeł danych lub wyjaśnienie innymi słowami. Pomaga to nie tylko lepiej zrozumieć odpowiedź, ale czasem również wyłapać nieścisłości. Przydatne zwroty to m.in.:

• Na podstawie jakich źródeł stworzyłeś odpowiedź? – sprawdzamy czy dane mają pokrycie w rzeczywistości
• Podaj autora cytatu / artykułu. – pozwala zweryfikować w innych źródłach
• Czy możesz wytłumaczyć to innymi słowami? – pomaga wyłapać nieścisłości w rozumowaniu
• Podaj dokładny tytuł i ISBN tej publikacji – w przypadku książek, artykułów, publikacji naukowych
• Czy jesteś pewien tych informacji? – zmusza model do ponownego zastanowienia się

Jak poprawiać odpowiedzi?

Jak wspomniałam w poprzednim artykule warto testować i poprawiać odpowiedzi modelu. Nazywamy to techniką iteracyjnego promptowania. Polega ona na traktowaniu pracy z AI jak dialogu ze współpracownikiem, a nie wyciągania odpowiedzi z magicznej skrzynki. Jeśli odpowiedź nie jest idealna – popraw prompt, doprecyzuj, dodaj kontekst lub podaj przykład oczekiwanego formatu. Jeśli nie jesteś pewny podanych informacji dopytaj o źródła, poproś o wytłumaczenie innymi słowami, rozwinięcie danego fragmentu lub poprawienie nieścisłości. Takie kilkukrotne odpytanie i poprawianie modelu da ci lepszą kontrolę nad tym co generuje model, pomoże wyłapać i ograniczyć błędy.

Przykład: Prosisz model o podanie przepisu na bezglutenowe ciasto. Model dostarcza odpowiedź, w której podaje mąkę pszenną – błąd! Prosisz o korektę:

„W przepisie użyłeś mąki pszennej. Popraw powyższy przepis tak, by rzeczywiście był bezglutenowy.”

AI podaje poprawiony przepis. Teraz można poprosić o podanie źródeł przepisu lub podanie alternatywnej wersji, np. wegańskiej.

Praca z generatywną sztuczną inteligencją może być przyjemna i pożyteczna, ale nie powinna oznaczać ślepej wiary. Ważna jest umiejętność zadawania trafnych pytań, krytycznego myślenia i ograniczonego zaufania do wyników. Choć modele językowe są niezwykle pomocne to wciąż uczą się razem z użytkownikami. Dlatego zachęcam: testuj, zadawaj pytania, poprawiaj i baw się pracą z AI. Pamiętaj o weryfikowaniu informacji. Choć błędy się zdarzają z każdą interakcją uczymy się czegoś nowego – zarówno my jak i model. A to już ogromna wartość.