ChatGPT i wielkie trzęsienie ziemi w NLP: jak rewolucja językowa zmieniła naukę.

Fascynuje Cię, jak sztuczna inteligencja zmienia nasze rozumienie języka i potrzebujesz wsparcia w badaniach nad NLP lub LLM w ramach swojego doktoratu?

Skontaktuj się – pomożemy Ci nawigować po tej dynamicznie zmieniającej się dziedzinie!

Gdy ChatGPT wstrząsnął światem: historia mówiona rewolucji w przetwarzaniu języka naturalnego

„Coś bardzo znaczącego stało się z tą dziedziną. A także z ludźmi.” – Christopher Potts. Te słowa doskonale oddają skalę transformacji, jaka dotknęła przetwarzanie języka naturalnego (NLP). Czy jesteśmy świadkami zmiany paradygmatu? To pytanie może być trudne do rozstrzygnięcia w czasie rzeczywistym, ale nie da się zaprzeczyć, że NLP – dziedzina mająca na celu uczynienie ludzkiej mowy zrozumiałą dla komputerów – przeszła (i wciąż przechodzi) rewolucję. Ten temat jest niezwykle ważny, ponieważ dotyka technologii, która wdarła się szturmem do naszej codzienności, napędzając odkrycia, wywołując dyskusje i zmieniając sposób, w jaki pracujemy i komunikujemy się. Jak ta zmiana wyglądała z perspektywy naukowców, którzy byli jej naocznymi świadkami?

Prolog: cisza przed burzą (transformery i BERTologia)

Do 2017 roku sieci neuronowe już zdążyły namieszać w NLP. Jednak latem tego roku, w przełomowej pracy „Attention Is All You Need”, badacze z Google przedstawili zupełnie nowy rodzaj sieci neuronowej – transformer. Nie wszyscy od razu dostrzegli jego potencjał.

• Sceptycyzm na początku: Ellie Pavlick (Brown University, Google DeepMind) wspomina prezentację Jakoba Uszkoreita, jednego z autorów, który niemal „trollował” słuchaczy, podkreślając, jak absurdalne i nieintuicyjne były niektóre decyzje projektowe, a mimo to model działał zaskakująco dobrze. Wielu odbierało to jako „zwykłe hacki”.

• Niewłaściwy, ale skuteczny?: Ray Mooney (University of Texas at Austin) przyznaje, że początkowo nie widział w transformerach przełomu i uważał je za koncepcyjnie błędny model przetwarzania języka. Nie przewidział jednak, że wytrenowany na ogromnej ilości danych, ten „błędny” model dokona niesamowitych rzeczy.

• Początek fascynacji: Nazneen Rajani (wówczas doktorantka u Mooneya) pamięta żywą dyskusję w grupie badawczej i poczucie, że to może być punkt zwrotny.

• „Przelotny kaprys”: R. Thomas McCoy (Yale University) wspomina, jak jego zespół badawczy uznał transformery za chwilową modę.

• Niedoceniony potencjał: Christopher Potts (Stanford University) przyznaje, że publikacja o transformerach przeszła obok niego niezauważona, a jej prawdziwy wpływ stał się widoczny dopiero dzięki wizjonerskim zespołom, takim jak twórcy BERT.

Niedługo po wprowadzeniu w październiku 2018 roku, BERT (model transformera od Google) oraz mniej znany GPT (od OpenAI) zaczęły bić rekordy wydajności na wielu zadaniach NLP. Rozpoczęła się era „BERTologii” – badacze gorączkowo analizowali działanie tych modeli i prześcigali się w osiąganiu coraz lepszych wyników na benchmarkach (standaryzowanych testach mierzących postęp w NLP).

• Podążanie za trendem: Anna Rogers (IT University of Copenhagen) wspomina, że w jej grupie badawczej zapadła decyzja o pracy nad BERT, bo „to było na topie”.

• Wyścig benchmarków: Julian Michael (wówczas doktorant na University of Washington) opisuje, jak szybki postęp na benchmarkach doprowadził do zapotrzebowania na coraz to nowsze i trudniejsze testy.

• Skala jako klucz: Sam Bowman (Anthropic, wówczas NYU) zauważył, że coraz częściej dobre wyniki osiągano przez skalowanie prostych pomysłów. Zaczął zdawać sobie sprawę, że to właśnie skala będzie głównym motorem rozwoju i doprowadzi do powstania potężnych, ogólnych systemów.

I. Wojny róż, czyli spory o rozumienie (2020–2022)

Gdy modele transformerowe zbliżały się (a nawet przekraczały) „ludzkie wyniki” na benchmarkach, nasilały się spory o interpretację ich zdolności, zwłaszcza w kontekście „znaczenia” i „rozumienia”. W 2020 roku te dyskusje zaogniła publikacja przedstawiająca LLM jako… ośmiornicę.

• Niekończące się dyskusje: Emily M. Bender (University of Washington) wspomina nieustające kłótnie na Twitterze z osobami twierdzącymi, że LLM-y naprawdę rozumieją język. Wraz z Alexandrem Kollerem napisała artykuł naukowy (tzw. „test ośmiornicy”), argumentując, że modele trenowane jedynie na naśladowaniu formy języka poprzez wzorce statystyczne nigdy nie zrozumieją jego znaczenia – tak jak „hiperinteligentna ośmiornica” nigdy nie pojmie życia na lądzie, nawet jeśli perfekcyjnie odtworzy ludzkie komunikaty.

• Kontrargumenty: Julian Michael napisał polemikę z „testem ośmiornicy”, starając się rzetelnie przedstawić argumenty autorów, ale jednocześnie „z uśmiechem na twarzy je dekonstruując”.

• „Wojny o rozumienie”: Dla Ellie Pavlick te spory były momentem prawdziwego „rachunku sumienia” w dziedzinie.

Tymczasem, w czerwcu 2020 roku OpenAI wypuściło GPT-3, model ponad 100-krotnie większy od poprzednika i znacznie potężniejszy. Dla wielu badaczy NLP to był moment, w którym wszystko się zmieniło. „Ośmiornica” Bender stała się rzeczywistością.

• Kryzys egzystencjalny: Christopher Callison-Burch (University of Pennsylvania) opisuje szok, gdy testując GPT-3, zdał sobie sprawę, że zadania, które jego doktorantom zajmowały lata, można było odtworzyć w miesiąc. Klasyczne zadania NLP wydawały się „załatwione” od ręki.

• Uczenie się w locie: Nazneen Rajani była zdumiona faktem, że GPT-3 można było nauczyć nowego zadania za pomocą kilku linijek naturalnego języka, mimo jego ograniczeń bezpieczeństwa.

• Więcej niż sztuczka: Christopher Potts próbował „zagiąć” GPT-3 pytaniami logicznymi, by udowodnić, że model tylko zapamiętuje. Szybko musiał przyznać, że to „znacznie więcej niż sztuczka”.

• Hałaśliwy, ale obiecujący: Yejin Choi (Stanford University) zauważa, że choć GPT-3 generował dużo „szumu” (nieprecyzyjnych informacji), to stanowił ogromny postęp w porównaniu do GPT-2.

Połączenie ogromnej skali, przełomowych możliwości i korporacyjnej tajemnicy (OpenAI nie udostępniło publicznie kodu GPT-3) wzbudziło niepokój wielu badaczy.

• Prywatny artefakt: Sam Bowman wspomina, że publikowanie badań opartych głównie na GPT-3 było początkowo źle widziane, gdyż model był płatnym, zamkniętym produktem.

• Testowanie produktu za darmo?: Anna Rogers przestała widzieć sens w tworzeniu kolejnych benchmarków, uznając to za darmowe testowanie komercyjnego produktu.

• „Nauka API”: Pojawiło się określenie „nauka API”, krytykujące badania na zamkniętych produktach jako niereprodukowalne.

Nawet wewnątrz laboratoriów korporacyjnych, takich jak Microsoft (który uzyskał wyłączną licencję na GPT-3) i Google, panowała ambiwalencja.

• Jak na rakiecie: Kalika Bali (Microsoft Research India) porównuje to do podróży rakietą na Księżyc – ekscytującej, ale wymagającej ciągłego sprawdzania kursu.

• Niebezpieczeństwa skali: Emily M. Bender, na prośbę Timnit Gebru (wówczas Google), napisała głośny artykuł „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”, który wniósł moralny wymiar do dyskusji o skali i znaczeniu, wywołując swego rodzaju „wojnę domową” w NLP.

• Podzielona społeczność: Kalika Bali wspomina, jak społeczność NLP podzieliła się na zwolenników i przeciwników tej publikacji. R. Thomas McCoy dodaje, że pytanie „jesteś za czy przeciw LLM?” było wówczas wszechobecne.

• Dylematy młodych badaczy: Julie Kallini (wówczas studentka w Princeton) czuła presję opowiedzenia się po którejś ze stron. Liam Dugan (University of Pennsylvania) zauważa, że wybór strony determinował kierunek badań.

W atmosferze pogarszającej się dyskusji, latem 2022 roku społeczność NLP przeprowadziła ankietę na temat „30 potencjalnie kontrowersyjnych stanowisk”, próbując zmapować podziały.

• Brak komunikacji: Sam Bowman wskazuje, że twórcy modeli w przemyśle często nie byli blisko związani z akademickim NLP, co prowadziło do rozbieżności w rozumieniu sytuacji.

• „Szalona strona”: Liam Dugan, czytając wyniki ankiety, był zszokowany niektórymi poglądami, zwłaszcza tymi, które zakładały, że samo skalowanie doprowadzi do ogólnej sztucznej inteligencji.

II. Chicxulub, czyli uderzenie ChatGPT (listopad 2022 – 2023)

30 listopada 2022 roku OpenAI uruchomiło ChatGPT. Dla społeczności NLP było to jak uderzenie asteroidy.

• Znikające problemy: Iz Beltagy (Allen Institute for AI) stwierdza, że w ciągu jednego dnia wiele problemów, nad którymi pracowali badacze, po prostu zniknęło.

• Koniec pewnej ery: R. Thomas McCoy zauważa, że ChatGPT „wyeliminował” całe kategorie badań NLP, czyniąc je nieciekawymi lub niepraktycznymi dla środowiska akademickiego.

• „Czy to ostatnia konferencja NLP?”: Sam Bowman wspomina, że podczas konferencji EMNLP w grudniu 2022 (tydzień po premierze ChatGPT) panował szok i konfuzja, a ludzie dosłownie pytali, czy to koniec ich dziedziny.

• Zmiany w przemyśle: Nazneen Rajani opisuje, jak w Hugging Face zespół badawczy został zredukowany, a pozostali mieli skupić się na budowie lub dostrajaniu modeli fundamentalnych na wzór ChatGPT.

Brutalne przebudzenie dotknęło także studentów.

• Mistyfikacja na żywo: Christiane Fellbaum (Princeton University) opowiada, jak student oszukał ją, prezentując artykuł rzekomo jej autorstwa, który w rzeczywistości wygenerował ChatGPT. To doświadczenie uświadomiło jej skalę wyzwania.

• Dylematy doktorantów: Christopher Callison-Burch wspomina, że doktoranci tworzyli grupy wsparcia. Liam Dugan dodaje, że wielu musiało drastycznie zmienić kierunek swoich badań, a niektórzy „cicho rezygnowali”.

• Niepewność i adaptacja: Julie Kallini, rozpoczynając doktorat w 2023 roku, czuła niepewność, ale starała się skupić na solidnych podstawach uczenia maszynowego.

Badacze NLP nagle znaleźli się w centrum globalnej uwagi.

• Wodospad zapytań: Vukosi Marivate (University of Pretoria) wspomina niezliczone prelekcje o LLM, które wygłosił w 2023 roku.

• Od niszy do mainstreamu: Sam Bowman zauważa, jak jego dziedzina z „sennej” stała się tematem rozmów z ludźmi spotykającymi się z papieżem i prezydentem.

• Naukowa odpowiedzialność: Christopher Callison-Burch poczuł odpowiedzialność za komunikację naukową, zeznając nawet przed Kongresem USA.

• Przytłoczenie uwagą: Liam Dugan, jako doktorant drugiego roku, był nagle proszony o wywiady i opinie, co początkowo było ekscytujące, a potem przytłaczające.

Konferencja EMNLP w grudniu 2023 roku, rok po premierze ChatGPT, odbywała się w zupełnie innej atmosferze.

• Zalew publikacji: Liam Dugan opisuje „zalew” preprintów na arXiv i dominację tematów związanych z promptingiem i ewaluacją modeli językowych. „Przestało to przypominać NLP, a bardziej AI.”

III. Mutatis Mutandis, czyli nowa rzeczywistość (2024–2025)

Dla NLP przyszłość rysowała się w LLM-ach, ale każdy widział ją inaczej.

• „LLM-olodzy” zamiast naukowców?: R. Thomas McCoy krytycznie ocenia skupienie się na badaniu modeli, do których danych treningowych nie ma się dostępu.

• Konieczność badania LLM: Ellie Pavlick przyznaje, że obecnie „badamy modele językowe” i uważa to za nieodzowny krok na drodze do zrozumienia języka.

• Globalne Południe a LLM: Kalika Bali podkreśla, że w krajach Globalnego Południa dominuje podejście pragmatyczne: „Jak sprawić, by to działało dla nas tu i teraz?”. Wskazuje na problemy z tłumaczeniem maszynowym, które nie uwzględnia kontekstu kulturowego, i potrzebę tworzenia modeli rozumiejących lokalne realia.

• Potrzeba wielkich artefaktów: Iz Beltagy porównuje budowę dużych modeli do Wielkiego Zderzacza Hadronów – niezbędnych do dalszego postępu. W odpowiedzi na dominację OpenAI, Allen Institute for AI stworzyło OLMo, w pełni otwarty model językowy.

• Opór wobec krytyki: Yejin Choi opowiada o emocjonalnych reakcjach na jej badania wykazujące ograniczenia najnowszych modeli GPT. Poczuła, że jej rolą stało się rygorystyczne badanie limitów LLM, choć nie chciała ograniczać się tylko do tego.

• Pieniądze i interesy: Tal Linzen zwraca uwagę na konflikt interesów, gdy w dyskusji naukowej biorą udział osoby związane z firmami wartymi miliardy dolarów.

Eksplozja badań, pieniędzy i szumu medialnego zatarła granice między NLP a AI. Badacze stanęli przed nowymi możliwościami i zachętami.

• Nowe drzwi: Nazneen Rajani przyznaje, że rewolucja LLM otworzyła jej drogę do stworzenia startupu.

• Zmiana roli: R. Thomas McCoy zauważa, że każdy pracownik naukowy związany z AI jest teraz postrzegany jako „człowiek od AI”, choć jego pasją pozostaje lingwistyka i kognitywistyka.

• Zacieranie granic: Julie Kallini postrzega siebie jako osobę pracującą na styku NLP, lingwistyki komputerowej i AI. Julian Michael uważa, że NLP musi się zaadaptować, by nie stać się nieistotne.

• Problem nierozwiązany: Anna Rogers nie martwi się o przyszłość NLP, ponieważ uważa, że problem języka wciąż nie został rozwiązany.

• Odpowiedzialność i wpływ: Christopher Potts podkreśla, że NLP nie może już udawać cichej dziedziny naukowej, gdy za nią stoją ogromne pieniądze i wpływy korporacji.

Epilog: czy duże modele językowe to zmiana paradygmatu?

Opinie, co nie dziwi, są podzielone.

• Tak (interfejs): Tal Linzen uważa, że możliwość „robienia wszystkiego” przez wpisywanie instrukcji do modelu językowego to zmiana paradygmatu.

• Nie (zasada): Anna Rogers twierdzi, że podstawowa zasada uczenia transferowego z dużych ilości danych tekstowych nie zmieniła się od czasów word-embeddingów.

• Tak (interesy korporacyjne i media): Jeff Mitchell i Ellie Pavlick wskazują na zmianę reguł gry przez interesy korporacyjne i wpływ mediów.

• Tak i nie (bariery wejścia): Vukosi Marivate uważa, że bariera wejścia do badań zarówno zmalała (można „sondować” modele bez dogłębnej wiedzy o architekturze), jak i wzrosła (dostęp do zasobów obliczeniowych).

• Nie (ślepy zaułek): Emily M. Bender uważa obecny trend rozwiązań end-to-end opartych na chatbotach za ślepy zaułek.

• Tak (rola człowieka i konsekwencje edukacyjne): Christiane Fellbaum podkreśla, że potęga LLM zmusza nas do pytania o miejsce człowieka i rodzi poważne konsekwencje edukacyjne.

• Tak (zmiana pytań badawczych): Christopher Potts zauważa, że pytania kiedyś uważane za centralne (np. klasyfikacja sentymentu) stały się peryferyjne wobec generowania języka naturalnego.

Jak podsumowuje Potts: „Być może w 2030 roku spojrzymy wstecz i pomyślimy, że to było nic w porównaniu z tym, co wydarzyło się w 2029”. Przyszłość NLP, choć niepewna, zapowiada się fascynująco.