Stworzyliśmy „ściemomierz” dla AI. Okazało się, że politycy i korporacje używają go od lat.

Sztuczna inteligencja, a w szczególności chatboty oparte na dużych modelach językowych (LLM) jak ChatGPT, stały się wszechobecne. Jednocześnie coraz częściej słyszymy, że ich odpowiedzi to „bełkot” (ang. slop) lub, mówiąc wprost, „ściema” (ang. bullshit). To nie tylko potoczne narzekania. To poważny problem, który dotyka fundamentów naszej komunikacji i zaufania do informacji. Jeśli narzędzia, które mają nam pomagać, produkują treści obojętne na prawdę, stajemy przed ryzykiem erozji wiedzy i dezinformacji na masową skalę.

Zrozumienie, czym dokładnie jest ten „bełkot”, skąd się bierze i czy możemy go wykryć, jest kluczowe. To nie jest tylko akademicka zagwozdka. To próba stworzenia narzędzi do obrony przed nową formą cyfrowego zanieczyszczenia, które może wpływać na politykę, pracę i codzienne życie. Grupa badaczy z Cambridge, inspirując się pracami pionierki AI Margaret Masterman, postanowiła zmierzyć się z tym problemem. Stworzyli coś, co można nazwać „ściemomierzem” – narzędziem, które nie tylko demaskuje sztuczny bełkot, ale także rzuca nowe światło na to, jak ludzie posługują się językiem w realnym świecie.

Anatomia „ściemy”: jak i dlaczego chatboty produkują bełkot?

Aby zrozumieć, dlaczego LLM generują treści określane jako bullshit, musimy sięgnąć do definicji filozofa Harry’ego Frankfurta. Według niego bullshit to nie to samo co kłamstwo. Kłamca zna prawdę, ale celowo mówi co innego. Osoba uprawiająca bullshit jest obojętna na prawdę – jej celem jest wywarcie określonego wrażenia, a nie rzetelne przedstawienie faktów.

Badacze stawiają tezę, że współczesne chatboty, takie jak ChatGPT, są strukturalnie predysponowane do produkowania właśnie takiego bełkotu. Dzieje się tak z powodu ich specyficznej „anatomii”, którą można rozłożyć na dwa kluczowe elementy:

1. Wstępnie wytrenowany duży model językowy (LLM): To rdzeń, który został wytrenowany na gigantycznym korpusie ludzkiego języka z internetu. Zawiera on w sobie niezliczone „gry językowe” (termin Wittgensteina) – od precyzyjnych opisów naukowych, przez codzienne rozmowy, po polityczną propagandę i właśnie bullshit.

2. System zarządzania dialogiem (DMS): To dodatkowa warstwa, która przekształca surowy model LLM w interaktywnego chatbota. DMS, poprzez ukryte instrukcje, filtry i systemy wzmacniania (RLHF), ma za zadanie sprawić, by chatbot był uprzejmy, pomocny i rozmowny. To właśnie ta warstwa, zdaniem autorów, działa jak paratekst – element (jak okładka książki czy recenzja), który steruje odbiorem głównej treści. DMS promuje grę językową polegającą na sprawianiu wrażenia kompetentnego i empatycznego, nawet jeśli model nie ma pojęcia o czym mówi. To idealne warunki do generowania frankfurtowskiego bullshitu.

Ta konstrukcja sprawia, że chatboty wpadają w pułapkę „efektu Elizy” (nazwanego od pierwszego chatbota z lat 60.) – ludzie mają tendencję do przypisywania maszynom znacznie głębszego zrozumienia i intencji, niż te w rzeczywistości posiadają. Terminy takie jak „halucynacje” tylko wzmacniają to złudzenie, bo sugerują, że model ma umysł, który może ulegać złudzeniom.

„Ściemomierz” w akcji: jak zmierzyć bełkot?

Inspirując się dążeniem Margaret Masterman do stworzenia „semantycznego detektora”, badacze postanowili zbudować narzędzie (Masterman Semantic Detector, MSD), które potrafi wykryć i zmierzyć ten specyficzny rodzaj języka. Proces tworzenia „ściemomierza” przebiegał następująco:

1. Stworzenie zbioru treningowego:

   • Zbiór referencyjny „braku bełkotu”: Zebrano 1000 artykułów z prestiżowego czasopisma naukowego Nature. Charakteryzują się one precyzją, zwięzłością i rygorystycznym podejściem do faktów.

   • Zbiór referencyjny „sztucznego bełkotu”: Poproszono ChatGPT o napisanie 1000 artykułów naukowych na te same tematy co w zbiorze z Nature, instruując go, by naśladował styl magazynu. Wynik był oczywistym bullshitem – pełnym pustosłowia, zmyślonych danych i pozorów naukowości.

2. Wytrenowanie dwóch klasyfikatorów:

   • Klasyfikator oparty na częstotliwości słów (XGBoost): Analizuje, jakie słowa najczęściej pojawiają się w tekstach naukowych, a jakie w tych generowanych przez AI.

   • Klasyfikator oparty na kontekście (RoBERTa): Bardziej zaawansowany model, który analizuje nie tylko same słowa, ale całą strukturę gramatyczną i kontekst, w jakim są używane.

Oba klasyfikatory osiągnęły 100% skuteczności w odróżnianiu artykułów z Nature od tych stworzonych przez ChatGPT. Co ciekawe, ich oceny były tylko nieznacznie skorelowane, co oznacza, że zwracały uwagę na różne cechy języka. Połączenie ich wyników w jeden wskaźnik (tzw. BS-meter, w skali 0-100) dało potężne narzędzie do analizy.

Eksperyment 1: Język polityki kontra mowa potoczna

Pierwszym testem dla „ściemomierza” było zbadanie języka, który George Orwell krytykował jako celowo niejasny i mętny – języka polityki. Badacze postawili hipotezę, że manifesty partyjne będą językowo bliższe bełkotowi generowanemu przez ChatGPT niż autentycznej, codziennej mowie.

• Próbka tekstów politycznych: 45 manifestów brytyjskich partii politycznych z lat 1945-2005.

• Próbka mowy potocznej: 45 transkrypcji codziennych rozmów, lekcji i wykładów z British National Corpus.

Wyniki były jednoznaczne:

• Średni wynik „bełkotu” dla manifestów politycznych wyniósł 49.36/100.

• Średni wynik dla mowy potocznej wyniósł zaledwie 9.40/100.

Różnica była wysoce istotna statystycznie. Wniosek jest zaskakujący: politycy mówią jak ChatGPT, podczas gdy zwykli ludzie mówią jak naukowcy. To pokazuje, że mechanizmy językowe, które uważamy za „sztuczne” i charakterystyczne dla AI, od dawna funkcjonują w ludzkiej komunikacji, zwłaszcza tam, gdzie celem jest perswazja, a nie informacja.

Eksperyment 2: Język „pracy bez sensu” (Bullshit Jobs)

Drugi eksperyment przeniósł analizę na grunt ekonomiczny, badając język używany w kontekście tzw. bullshit jobs. To termin antropologa Davida Graebera, opisujący prace, które są tak bezcelowe, że nawet sami pracownicy nie potrafią uzasadnić ich istnienia. Hipoteza: czy teksty tworzone przez ludzi wykonujących takie prace będą wykazywać cechy frankfurtowskiego bullshitu?

Badacze zidentyfikowali pięć kategorii takich prac (np. „lizusy” – flunkies, „nadzorcy” – taskmasters) i zebrali po 10 tekstów reprezentujących każdą z nich (np. biografie prezesów, korporacyjne misje). Jako grupę kontrolną zebrano teksty od ludzi wykonujących prace pożyteczne i namacalne (np. instrukcje naprawy, opisy pracy rolników).

Wyniki ponownie potwierdziły hipotezę:

• Średni wynik „bełkotu” dla tekstów z bullshit jobs wyniósł 52.47/100.

• Średni wynik dla tekstów z prac pożytecznych wyniósł 28.87/100.

Również w tym przypadku różnica była wysoce istotna statystycznie. Język używany w środowiskach pracy, które produkują iluzję znaczenia, jest statystycznie podobny do bełkotu generowanego przez ChatGPT.

Wnioski: „Ściemomierz” jako lustro dla języka

To przełomowe badanie pokazuje, że możemy w sposób naukowy mierzyć i analizować coś tak ulotnego jak „bełkot”. „Ściemomierz” (MSD) okazał się niezwykle skutecznym narzędziem, które:

1. Potwierdza, że obecna generacja chatbotów jest zoptymalizowana do produkowania języka obojętnego na prawdę.

2. Ujawnia, że ten sam rodzaj języka jest od dawna obecny w ludzkich sferach, takich jak polityka i niektóre rodzaje pracy biurowej.

3. Dostarcza empirycznych dowodów na to, że język ma swoje „ślady”, które pozwalają zidentyfikować kontekst społeczny i intencje, z jakimi został użyty.

To dopiero początek. Narzędzie to otwiera drogę do dalszych, bardziej rygorystycznych badań nad językiem, dezinformacją i społecznymi skutkami AI. Daje nam ono nie tylko możliwość demaskowania sztucznego bełkotu, ale także, co być może ważniejsze, pozwala nam lepiej zrozumieć samych siebie.