Granice AI: dlaczego coraz większe nie oznacza (jeszcze) mądrzejsze

Modele sztucznej inteligencji zadziwiają nas swoim postępem, ale ich zdolność do "rozumowania" może wkrótce osiągnąć swoje granice. Wyjaśniamy dlaczego, a to nieco bardziej skomplikowane niż po prostu dostarczenie im większej ilości danych.

Widzieliście już osiągnięcia ChatGPT i podobnych modeli, które potrafią pisać wiersze, generować kod czy prowadzić niemal ludzką rozmowę? Imponujące, prawda? Długo sądzono, że aby uczynić sztuczną inteligencję (SI) mądrzejszą, wystarczy karmić ją coraz większą ilością danych i zwiększać rozmiar jej "mózgu" (czyli parametrów, mówiąc technicznie). Swego rodzaju intelektualne tuczenie. Ale oto najnowsze badania rzucają kamyczek do ogródka tego wyścigu ku gigantomanii: a co, jeśli w przypadku złożonego rozumowania ta strategia zbliża się do swoich ograniczeń?

Sztuczna inteligencja – uczennica, która uczy się (zbyt) szybko?

Od kilku lat świat sztucznej inteligencji przeżywa prawdziwą rewolucję dzięki dużym modelom językowym (LLM). Wyobraźcie je sobie jako gigantyczne cyfrowe mózgi, szkolone na astronomicznych ilościach tekstów i danych zaczerpniętych z internetu. Im większe są te modele (liczba „parametrów”, które można porównać do połączeń między neuronami w naszym mózgu) i im więcej danych im dostarczymy, tym lepiej radzą sobie z różnorodnymi zadaniami. To właśnie tzw. „prawa skalowania” (scaling laws): im większy model, tym lepsze wyniki. Proste i logiczne.

Ale czy te modele są już mistrzami logiki? Niezupełnie, jak wynika z analizy przeprowadzonej przez Epoch AI, specjalistyczny instytut badawczy. Choć SI świetnie radzą sobie z rozpoznawaniem wzorców czy generowaniem spójnych tekstów, prawdziwe rozumowanie, wymagające wieloetapowego logicznego myślenia w celu rozwiązania złożonego problemu, to zupełnie inna bajka – i tu właśnie napotykamy jedną z granic sztucznej inteligencji.

Notatnik: od prostego edytora tekstu do asystenta AI – niespodziewana metamorfoza Windowsa

Rozumowanie – prawdziwa łamigłówka nawet dla SI

Aby ocenić tę zdolność do „myślenia”, a nie tylko „powtarzania”, naukowcy stosują specjalne testy. Jednym z nich, dość wymagającym, jest benchmark MATH. Wyobraźcie sobie serię trudnych zadań matematycznych na poziomie konkursowym. Nawet najbardziej zaawansowane SI wciąż mają z nimi problemy.

Badanie Epoch AI, analizujące wyniki w tego typu testach, sugeruje, że spektakularne postępy w zakresie rozumowania, osiągnięte dzięki zwiększaniu rozmiarów modeli i ilości danych, mogą zwolnić. Innymi słowy, dalsze „pompowanie” SI może już nie wystarczyć, aby znacząco poprawić ich zdolność do rozwiązywania problemów wymagających bystrości.

Więcej danych = lepsza SI? Niekoniecznie...

Dlaczego ten potencjalny hamulec? Wyjaśnienie Epoch AI jest subtelne. Problemem nie jest sama ilość danych, ale ich jakość i przydatność w nauce rozumowania. To trochę tak, jakbyście chcieli wyszkolić detektywa: zmuszenie go do przeczytania światowej książki telefonicznej (dużo danych!) byłoby mniej skuteczne niż nauka na dobrze dobranych, złożonych śledztwach (dane wysokiej jakości i celowane).

Naukowcy mówią o „danych efektywnych”. Wygląda na to, że w przypadku zadań wymagających rozumowania obecne modele już przyswoiły większość naprawdę przydatnych informacji z ogromnych zbiorów tekstów ogólnych. Dostarczanie im kolejnych podobnych danych przyniosłoby tylko marginalne korzyści. To jak student, który przeczytał już wszystkie kluczowe podręczniki, a dostaje jedynie drugorzędne artykuły.

Manus AI: koniec z mozolnym tworzeniem prezentacji, teraz robi to za Ciebie sztuczna inteligencja!

Mur „1000 razy więcej”

Epoch AI podaje oszałamiającą liczbę: aby osiągnąć naprawdę wysoki poziom rozumowania (np. wynik 90% w benchmarku MATH), mogłoby być potrzebne 100 do 1000 razy więcej zasobów (mocy obliczeniowej i danych) niż obecnie inwestujemy. To ogromny wysiłek, który każe zastanowić się nad opłacalnością i skutecznością obecnego podejścia opartego wyłącznie na skalowaniu.

To nie znaczy, że SI przestaną się rozwijać w innych dziedzinach – wręcz przeciwnie! Ale jeśli chodzi o Świętego Graala złożonego rozumowania, droga wydaje się trudniejsza i droższa, niż się spodziewano, jeśli trzymać się obecnych metod. Jak zauważa Tamay Besiroglu z Epoch AI, cytowany w artykule TechCrunch omawiającym badanie, mogliśmy już przekroczyć „optymalny punkt”, w którym dodawanie większej ilości danych w stosunku do rozmiaru modelu przynosiło największe korzyści dla rozumowania.

Magia cyfrowa: sztuczna inteligencja Google przemienia Cię w artystę wszechstronnego!

Ta analiza Epoch AI wcale nie ogłasza końca sztucznej inteligencji, ale zachęca do większej pomysłowości i finezji. Zamiast stawiać wyłącznie na coraz większe modele i lawinę nieróżnicowanych danych, kluczem do stworzenia SI, które naprawdę „rozumują”, może być coś innego: bardziej pomysłowe architektury modeli, lepszej jakości dane treningowe specjalnie zaprojektowane do rozumowania, a może zupełnie nowe podejścia.

Krótko mówiąc, jeśli nasze SI są już niezłymi gadułami, przekształcenie ich w cyfrowych Sherlocków Holmesów będzie wymagać czegoś więcej niż prostej niestrawności danych. Wyzwanie rzucone – i to całkiem ekscytujące, prawda?

Źródła: