AI-grænser: hvorfor større ikke (endnu) betyder klogere

Kunstig intelligens-modeller imponerer os med deres fremskridt, men deres evne til at "ræsonnere" kunne snart nå et loft. Vi forklarer hvorfor, og det er lidt mere kompliceret end blot at give dem flere data.

Har du set de imponerende præstationer fra ChatGPT og lignende modeller, der kan skrive digte, generere kode eller føre en næsten menneskelig samtale? Imponerende, ikke? Længe har man troet, at for at gøre kunstig intelligens (KI) klogere, var det nok at fodre den med flere og flere data og øge størrelsen på dens "hjerne" (dens parametre, teknisk set). En slags intellektuel mæskning. Men en ny undersøgelse kaster nu en lille kæp i hjulet i denne kapløb om størrelse: hvad nu hvis denne strategi når sine begrænsninger, når det kommer til kompleks ræsonnering?

AI, den elev der lærer (for) hurtigt?

De seneste år har AI-verdenen gennemgået en ægte revolution takket være store sprogmodeller (LLM). Forestil dem som gigantiske digitale hjerner, trænet på astronomiske mængder af tekst og data fra internettet. Jo større de bliver (antallet af "parametre", som lidt minder om forbindelserne mellem neuroner i vores hjerne) og jo mere data de får, desto bedre bliver de til en masse opgaver. Dette kaldes "skaleringens love": jo større, desto bedre. Simpelt og grundlæggende.

Men er disse modeller virkelig sofistikerede logikere? Ikke helt, ifølge en grundig analyse fra Epoch AI, et specialiseret forskningsinstitut. Selvom AI'er er fremragende til at genkende mønstre eller generere troværdig tekst, er ægte ræsonnement – det, der kræver flere logiske trin for at løse et komplekst problem – en helt anden sag, og her står vi over for en af de begrænsninger, AI har.

MCP: hvad nu hvis AI havde fundet sin dirigent?

Ræsonnement, en hovedpine selv for AI

For at vurdere denne evne til at "tænke" snarere end blot at "gentage" bruger forskere specifikke tests. En af dem, der er ret frygtet, hedder MATH-benchmarken. Forestil dig en række svære matematikproblemer på konkurrenceniveau. Selv vores mest avancerede AI'er har stadig svært ved at shine her.

Epoch AIs studie, der undersøger præstationer på denne type tests, antyder, at de spektakulære fremskridt inden for ræsonnement, opnået gennem større modeller og mere data, muligvis vil aftage. Med andre ord: blot at "puste" AI'er op vil ikke længere være nok til at gøre dem markant bedre til at løse problemer, der kræver dømmekraft.

Mere data, bedre AI? Ikke så simpelt...

Så hvorfor denne potentielle bremse? Forklaringen fra Epoch AI er nuanceret. Det er ikke så meget den rå mængde data, der er problemet, men kvaliteten og relevansen af dataene for at lære ræsonnement. Det er lidt som at ville træne en detektiv: at få ham til at læse hele verdens telefonbog (masser af data!) vil være mindre effektivt end at lade ham studere veludvalgte, komplekse efterforskninger (kvalitetsdata med fokus).

Forskere taler om "effektive data". Det ser ud til, at når det gælder ræsonnement, har de nuværende modeller allerede optaget en stor del af de virkelig nyttige oplysninger i de enorme mængder af generelle tekstdata. At fortsætte med at fodre dem med mere af det samme vil kun give marginale gevinster. Lidt som en studerende, der allerede har læst alle de vigtige lærebøger og nu kun får mindre væsentlige artikler.

Google Gemini 2.5: En dybdegående undersøgelse af den AI, der vil tænke (meget) større

Muren ved "1000 gange mere"

Det chokerende tal fra Epoch AI er, at for at opnå et virkelig højt ræsonnementniveau (f.eks. en score på 90% i den berømte MATH-benchmark) kunne det potentielt kræve 100 til 1000 gange flere ressourcer (beregning og data) end hvad der i øjeblikket investeres. En kolossal indsats, der rejser spørgsmål om bæredygtigheden og effektiviteten af den nuværende tilgang, der kun baserer sig på skalering.

Det betyder ikke, at AI vil stagne på alle områder – langt fra! Men når det gælder den hellige gral af komplekst ræsonnement, ser vejen ud til at være mere besværlig og dyr end forventet, hvis vi holder os til de nuværende metoder. Som Tamay Besiroglu fra Epoch AI påpeger i en TechCrunch-artikel, der omtaler studiet, kan vi allerede have overskredet det "optimale punkt", hvor tilføjelse af mere data i forhold til modelstørrelsen var mest gavnligt for ræsonnement.

Duolingo satser på AI: uglen fylder løs!

Langt fra at være dødsstødet for kunstig intelligens inviterer Epoch AIs analyse os til at være mere listige og nuancerede. I stedet for kun at satse på stadig mere gigantiske modeller og en lavine af udifferentieret data, kan nøglen til virkelig "ræsonnerende" AI ligge et andet sted: i mere geniale modelarkitekturer, træningsdata af meget højere kvalitet og specifikt designet til ræsonnement, eller måske helt nye tilgange.

Kort sagt, selvom vores AI'er allerede er ret snakkesalige, vil det at omdanne dem til virkelige digitale Sherlock Holmes sandsynligvis kræve lidt mere end en simpel dataoverdosis. Udfordringen er skabt, og det er ret spændende, ikke?

Kilder: