Naukowcy z MIT uczą AI, jak wyjaśniać samą siebie. Zaczyna się rewolucja w zrozumieniu „czarnych skrzynek”

Sztuczna inteligencja, zwłaszcza duże modele językowe (LLM) takie jak GPT-4, staje się coraz potężniejsza, ale jednocześnie coraz bardziej tajemnicza. Jej wewnętrzne działanie przypomina „czarną skrzynkę”. Rozumiemy, co do niej wchodzi i co z niej wychodzi, ale procesy zachodzące w środku pozostają zagadką. To ogromny problem. Jak możemy zaufać systemom, które podejmują decyzje medyczne, finansowe czy sterują autonomicznymi pojazdami, jeśli nie rozumiemy, dlaczego podejmują takie, a nie inne decyzje? Zrozumienie (tzw. interpretabilność) AI to jedno z największych wyzwań współczesnej nauki. Do tej pory wymagało to ogromnej pracy ludzkich ekspertów. Ale co, jeśli do wyjaśnienia jednej AI moglibyśmy użyć… innej AI?

Rewolucja w zrozumieniu AI: inteligentni agenci wkraczają do akcji

Zespół naukowców z prestiżowego Laboratorium Informatyki i Sztucznej Inteligencji MIT (CSAIL) opracował przełomową metodę, która może zrewolucjonizować sposób, w jaki „zaglądamy pod maskę” sieciom neuronowym. Stworzyli Zautomatyzowanego Agenta Interpretabilności (AIA – Automated Interpretability Agent) – system oparty na zaawansowanym modelu językowym, który działa jak prawdziwy naukowiec.

Zamiast biernie analizować dane, AIA aktywnie:

1. Formułuje hipotezy: Zastanawia się, co może robić dany fragment sieci neuronowej.

2. Projektuje i przeprowadza eksperymenty: „Bada” inny system AI, zadając mu sprytne pytania i analizując jego odpowiedzi.

3. Uczy się i udoskonala: Na podstawie wyników eksperymentów iteracyjnie poprawia swoje zrozumienie, dochodząc do coraz trafniejszych wniosków.

Celem AIA jest stworzenie intuicyjnego wyjaśnienia działania badanego systemu. Może to przybrać formę:

• Opisu w języku naturalnym: np. „Ten neuron aktywuje się, gdy widzi obrazy transportu lądowego, ale nie powietrznego czy morskiego.”

• Kodu komputerowego: który potrafi odtworzyć zachowanie badanego fragmentu sieci.

To fundamentalna zmiana. Zamiast pasywnej klasyfikacji, mamy do czynienia z aktywnym, autonomicznym procesem badawczym prowadzonym przez maszynę.

Jak sprawdzić, czy AI dobrze wyjaśnia inną AI? Benchmark FIND

Jednym z największych problemów w badaniach nad interpretabilnością był brak „złotego standardu”. Skąd wiemy, że wygenerowane przez nas wyjaśnienie jest poprawne, skoro nie znamy „prawdziwej” odpowiedzi na to, co robi dany neuron?

Aby rozwiązać ten problem, zespół z MIT stworzył FIND (Function Interpretation and Description) – unikalny zbiór testowy, który działa jak poligon doświadczalny dla metod interpretabilności. FIND zawiera:

• Syntetyczne funkcje: Są to programy komputerowe zaprojektowane tak, by naśladować zachowanie prawdziwych komponentów sieci neuronowych (np. pojedynczych neuronów).

• „Prawdziwe” opisy (ground truth): Dla każdej syntetycznej funkcji istnieje precyzyjny, stworzony przez człowieka opis jej działania.

Jak to działa w praktyce?

1. Agent AIA dostaje „czarną skrzynkę” – dostęp do jednej z syntetycznych funkcji z benchmarku FIND, ale bez wiedzy o jej wewnętrznej budowie.

2. AIA zaczyna eksperymentować. Jeśli podejrzewa, że funkcja reaguje na koncept „samochodu”, zadaje jej pytania (podaje dane wejściowe) takie jak „drzewo”, „szczęście”, „samochód”, „samolot”, „łódź”.

3. Obserwując, że funkcja daje wysokie wartości dla „samochodu”, AIA formułuje hipotezę i projektuje kolejne, bardziej precyzyjne testy, by odróżnić np. samochody od innych środków transportu.

4. Na końcu AIA generuje swoje wyjaśnienie, np. „Ta funkcja jest selektywna dla transportu drogowego, a nie powietrznego czy morskiego.”

5. To wyjaśnienie jest następnie porównywane z „prawdziwym” opisem z benchmarku FIND („selektywna dla transportu lądowego”), co pozwala obiektywnie ocenić skuteczność agenta.

„Czyste, proste benchmarki z prawidłowymi odpowiedziami były głównym motorem napędowym rozwoju ogólnych zdolności w modelach językowych. Mamy nadzieję, że FIND odegra podobną rolę w badaniach nad interpretabilnością” – mówi Sarah Schwettmann, jedna z głównych autorek badania.

Wyniki: obiecujący początek, ale długa droga przed nami

Testy z wykorzystaniem benchmarku FIND pokazały, że agenci AIA działają lepiej niż istniejące, zautomatyzowane metody interpretabilności. Potrafią samodzielnie formułować hipotezy i odkrywać ogólną strukturę badanych funkcji.

Jednocześnie badanie ujawniło, że jesteśmy jeszcze daleko od pełnej automatyzacji. AIA wciąż nie potrafiły poprawnie opisać prawie połowy funkcji z benchmarku. Ich główną słabością jest przeoczanie drobnych szczegółów i niuansów, zwłaszcza w obszarach, gdzie badane funkcje zachowują się nieregularnie lub są „zaszumione”.

Naukowcy odkryli jednak obiecujący sposób na poprawę wyników. Gdy „podpowiedzieli” agentowi, od jakich danych wejściowych powinien zacząć swoje eksperymenty (inicjalizacja poszukiwań), jego trafność znacząco wzrosła. To sugeruje, że przyszłość leży w hybrydowym podejściu, łączącym autonomię AI z ludzkim naprowadzaniem.

Kto pilnuje strażników? Wizja przyszłości

Zespół z MIT nie ustaje w pracy. Rozwijają zestaw narzędzi, który ma dać agentom AIA jeszcze lepsze „instrumenty badawcze” do przeprowadzania precyzyjnych eksperymentów na sieciach neuronowych.

Wizja końcowa jest fascynująca: niemal autonomiczni agenci AI, którzy potrafią przeprowadzać audyty innych, krytycznych systemów AI (np. w autonomicznych samochodach czy systemach rozpoznawania twarzy), diagnozując ich potencjalne błędy, ukryte uprzedzenia i nieoczekiwane zachowania, zanim zostaną one wdrożone. Ludzki naukowiec pełniłby w tym procesie rolę nadzorcy i mentora, podsuwając kierunki badań i weryfikując najważniejsze odkrycia.

Jak ujął to prof. Martin Wattenberg z Uniwersytetu Harvarda, który nie był zaangażowany w badanie: „To rodzaj dżiu-dżitsu interpretabilności, odwracanie AI przeciwko samej sobie w celu wsparcia ludzkiego zrozumienia”.

To badanie to znaczący krok naprzód w oswajaniu potęgi sztucznej inteligencji. Zamiast tylko budować coraz większe i potężniejsze modele, zaczynamy tworzyć narzędzia, które pozwolą nam je zrozumieć, kontrolować i czynić bardziej niezawodnymi.