Sztuczna inteligencja zalewa naukę. Czy to koniec prawdy w badaniach?

Zmagasz się z doktoratem lub publikacją naukową? Potrzebujesz wsparcia w przeprowadzeniu badań, analizie danych lub napisaniu raportu? Przekształć swój ambitny pomysł w rzetelną pracę naukową z naszą pomocą. Skontaktuj się z nami i przyspiesz swoją karierę akademicką

Wyobraź sobie, że fundament, na którym opiera się cały współczesny postęp – od medycyny po technologię – zaczyna pękać. Tym właśnie jest wiarygodność badań naukowych. Od stuleci ufamy, że publikacje w recenzowanych czasopismach są wynikiem rzetelnej pracy, wnikliwych analiz i – co najważniejsze – ludzkiej myśli. Dziś ten fundament jest zagrożony. Fikcyjne, wygenerowane przez sztuczną inteligencję teksty zalewają czasopisma naukowe, tworząc iluzję wiedzy i podważając zaufanie do nauki jako całości. To nie jest odległy, hipotetyczny problem. To dzieje się teraz i dotyka nas wszystkich, ponieważ decyzje medyczne, polityczne i technologiczne opierają się na doniesieniach naukowych. Pytanie, czy potrafimy jeszcze odróżnić prawdę od cyfrowej konfabulacji, staje się jednym z najważniejszych wyzwań naszych czasów.

Potop sztucznej treści, czyli kiedy redaktor nie czyta

Najnowszy raport dziennikarski opublikowany na łamach prestiżowego magazynu Science, przygotowany przez inicjatywę Retraction Watch (organizację śledzącą nierzetelność w nauce), rzuca światło na skalę problemu. Ujawniono, że anonimowy autor przyznał się do opublikowania w jednym tylko czasopiśmie medycznym aż 69 komentarzy w ciągu zaledwie ośmiu tygodni. Wszystkie z nich były „nieautentycznymi konfabulacjami” stworzonymi przez AI.

To wierzchołek góry lodowej. Dalsze śledztwo wykazało, że:

• W jednym z analizowanych czasopism połowę wszystkich nadsyłanych tekstów stanowią obecnie komentarze (a nie oryginalne badania czy artykuły przeglądowe).

• W innym periodyku odsetek ten sięgnął aż 70%.

Problem stał się tak poważny, że czasopismo Neurosurgical Review ogłosiło, iż całkowicie wstrzymuje przyjmowanie listów do redakcji i komentarzy.

Jak to możliwe, że teksty generowane maszynowo przechodzą przez redakcyjne sito? Odpowiedź jest tyleż prosta, co niepokojąca. Nie chodzi o to, że AI stała się tak doskonała, by oszukać doświadczonego naukowca. Wręcz przeciwnie, wprawne oko badacza jest w stanie stosunkowo łatwo wychwycić sztucznie generowane frazy. Problem leży w systemie. Komentarze i listy do redakcji często nie podlegają rygorystycznemu procesowi recenzji (tzw. peer-review). Redaktorzy, zalewani setkami takich tekstów, fizycznie nie są w stanie przeczytać każdego z nich od deski do deski. W efekcie publikowane są treści, których nikt w redakcji w pełni nie zweryfikował.

Cyfrowy strażnik, czyli czy AI może czytać AI?

Skoro sztuczna inteligencja tworzy problem, może ona również stać się jego rozwiązaniem? Pojawiła się koncepcja, by zaprząc AI do pracy po drugiej stronie barykady – jako narzędzie do weryfikacji i filtrowania nadsyłanych manuskryptów.

Przykładem takiego podejścia jest inicjatywa szwajcarskiej firmy DeSci labs, opisana w magazynie Nature. Stworzyła ona system, który przypisuje tzw. „wskaźnik nowości” (novelty score) do prac naukowych. Algorytm, porównując kombinacje słów kluczowych i cytowanych źródeł w manuskrypcie z ogromną bazą danych (wstępnie przeanalizowano 50 milionów artykułów z archiwum arXiv), ma pomagać redaktorom w ocenie oryginalności pracy.

Pomysł wydaje się logiczny: zautomatyzujmy pierwszy etap selekcji, by odsiać treści nieoryginalne lub jawnie fałszywe. Niestety, rzeczywistość brutalnie weryfikuje ten technologiczny optymizm.

Kolosalna porażka w sercu Europy, czyli lekcja z programu Horizon Europe

Najbardziej dramatycznym dowodem na ograniczenia AI w rozumieniu tekstów naukowych jest historia programu Accelerator, flagowej inicjatywy unijnego funduszu Horizon Europe przeznaczonego do finansowania przełomowych technologii. W 2021 roku Unia Europejska podjęła bezprecedensową decyzję: cały proces oceny wniosków grantowych pod kątem innowacyjności powierzono sztucznej inteligencji.

Obietnice były oszałamiające. Bruksela informowała, że AI będzie w stanie ocenić każdy pomysł, porównując go z bazą „180 milionów publikacji naukowych” i „120 milionów dokumentów patentowych”. Miała to być obiektywna, ilościowa miara innowacji.

Po zaledwie dwóch latach, w czerwcu 2023 roku, na tydzień przed terminem składania wniosków, UE nagle i bez szczegółowych wyjaśnień wycofała cały system AI, wracając do tradycyjnej oceny dokonywanej przez ludzi. Co poszło nie tak?

1. Bełkot zamiast analizy: System AI, na podstawie danych wprowadzonych przez naukowców, generował obszerne podsumowania projektów badawczych. Te podsumowania, które trafiały do oceniających, były, mówiąc delikatnie, kompletnym nonsensem.

2. Zmuszanie człowieka do myślenia jak maszyna: Sam proces składania wniosku był kuriozalny. Naukowcy musieli rozbijać swoje spójne koncepcje na setki pojedynczych zdań i wklejać je w osobne pola tekstowe. Struktura formularza przypominała zagnieżdżone pętle warunkowe if, znane każdemu programiście. Innymi słowy, aby „wielka” AI mogła „przeczytać” tekst, naukowiec musiał najpierw sam zacząć pisać jak prosty kod komputerowy.

Ten kosztowny eksperyment dowiódł, że AI nie potrafi czytać, a co dopiero sensownie interpretować złożonej, innowacyjnej myśli naukowej.

Dlaczego AI nie rozumie nowości?

Problem leży głębiej niż w niedoskonałości algorytmów. Jest on wpisany w samą naturę sztucznej inteligencji. AI, w swojej istocie, jest niezwykle zaawansowaną cyfrową gąbką. Uczy się na podstawie istniejących przykładów – tekstów, obrazów, danych. Analizuje miliardy wzorców i na ich podstawie potrafi je naśladować, uśredniać i tworzyć nowe kombinacje.

Innowacja z definicji jest tworzeniem czegoś, dla czego nie ma wcześniejszych przykładów. AI, karmiona przeszłością, jest niezdolna do prawdziwego tworzenia przyszłości. Próba kwantyfikacji ludzkiego pojęcia „nowości” przez algorytm jest jak lot Ikara – brawurowa, ale skazana na porażkę w zetknięciu z rzeczywistością.

Radykalna propozycja: od wykrywania innowacji do wykrywania nonsensu

Być może właśnie niezdolność AI do rozumienia prawdziwej nauki jest naszą szansą. Zamiast kazać jej szukać tego, czego nie rozumie (innowacji), wykorzystajmy ją do tego, co może robić najlepiej: rozpoznawania tego, co jest do niej podobne.

Co by się stało, gdybyśmy odwrócili logikę? Wyobraźmy sobie system, w którym AI ocenia nadsyłane teksty. Można postawić hipotezę, że tekst wygenerowany przez maszynę zostanie oceniony przez inną maszynę jako bardziej logiczny, spójny i poprawny strukturalnie niż tekst napisany przez człowieka, pełen niuansów, skrótów myślowych i kreatywnych skoków.

W takim modelu najwyższe oceny przyznane przez AI stawałyby się czerwoną flagą. Sygnalizowałyby, że tekst jest prawdopodobnie dziełem maszyny.

Zamiast więc budować „czujniki innowacji”, stwórzmy „czujniki nonsensu” lub „czujniki sztuczności”. Ludzie znacznie łatwiej rozpoznają absurd niż doceniają geniusz. Ilu widzów na sali będzie śmiać się ze skeczu Monty Pythona, a ilu zrozumie piękno nowego dowodu matematycznego? Właśnie ta asymetria może być kluczem. Przyszłością weryfikacji naukowej może nie być machine reading, lecz nonsense-sensing.