Danmark har førertrøjen på i kapløbet om små sprogmodeller

Da forskere under projektet; Danish Foundation Models (DFM) for alvor gik i gang med at udvikle danske sprogmodeller, var udgangspunktet ikke ligefrem optimistisk.

De største og mest avancerede modeller blev udviklet af amerikanske og kinesiske techgiganter, som havde og stadig har adgang til enorme mængder data, regnekraft og milliardinvesteringer. Danmark havde hverken samme datamængder eller samme computerkraft.

Risikoen var, at Danmark – og Europa – måtte stille sig tilfredse med at blive kunder hos virksomheder på den anden side af Atlanten eller i Kina, med alt det, som det bringer med sig.

Men hen over sommeren har forskerne i DFM-projektet skabt en ny sprogmodel med én milliard parametre, der kan måle sig med techgiganternes.

Som professor Peter Schneider-Kamp, Syddansk Universitet, udtrykker det:

– Nu har vi for første gang lavet en model, som ikke kun er forholdsvis god på dansk, men som, givet størrelsen, lige nu er den bedste model, der findes i verden.

En dansk letvægter mod techgiganterne

Én milliard parametre lyder måske ikke umiddelbart som en lille model. Men i den moderne AI-verden befinder den sig i letvægtsklassen.

Det interessante er derfor ikke alene, hvor godt modellen klarer sig. Det er, hvor godt den klarer sig i forhold til sin størrelse.

Forskerne har testet modellen på standardiserede evalueringer, hvor sprogmodeller blandt andet bliver målt på deres evne til at håndtere viden, matematik, programmering, oversættelse og forskellige sproglige opgaver.

Ifølge Schneider-Kamp klarer den danske model sig bedre end førende små modeller fra blandt andre Googles nyeste Gemma-modeller og Alibabas Qwen-modelfamilie.

På engelsk skal vi op på en model, der er omkring fire gange så stor, for at have det samme niveau. Og på dansk kan modeller op til ni gange størrelsen ikke være med, siger han.

Modellen klarer sig også godt inden for matematik og programmering, hvor den kan konkurrere med modeller, der er fire-fem gange større.

Det betyder ikke, at Danmark pludselig har bygget en konkurrent til de største versioner af ChatGPT.

De modeller tilhører en helt anden vægtklasse.

– ChatGPT er jo 1.000 gange større. Men vi kan konkurrere med de bedste modeller på den størrelse, som de kan lave. Eller vi kan faktisk gøre det bedre, end de gør, siger Schneider-Kamp.

Det er altså ikke sværvægtskampen, de danske forskere har vundet. Men i letvægtsklassen har de lige nu taget førertrøjen.

En stakket frist

Det er værd at hæfte sig ved ordene lige nu.

Udviklingen inden for kunstig intelligens går så hurtigt, at rekorder kan have meget kort levetid.

– Det er også derfor, vi er nødt til at skubbe den hurtigt ud at leve, fordi vi jo ikke ved, hvad der kommer til at ske. Måske kommer der om en uge eller om to måneder en eller anden med en model, der er endnu bedre, siger Schneider-Kamp.

Men resultatet ændrer alligevel noget grundlæggende ved fortællingen om Europas placering i AI-kapløbet.

For få år siden var spørgsmålet, om lande som Danmark overhovedet havde en chance for at følge med de enorme amerikanske og kinesiske satsninger.

Nu har DFM projektet altså demonstreret, at man kan konkurrere i verdensklasse uden at kopiere techgiganternes enorme skala.

Hemmeligheden er ikke mere – men, i sandhed, mindre

En vigtig del af forklaringen ligger i den måde, modellen er blevet trænet på.

Den klassiske opskrift på moderne sprogmodeller har groft sagt været: flere parametre, mere computerkraft og enorme mængder tekst.

Men AI-forskningen bevæger sig samtidig i retning af at forsøge at få mere ud af mindre. Det er den udvikling, den danske model udnytter. Ifølge Schneider-Kamp er modellen blevet bedre end modeller, som er trænet på op mod 100 gange så meget data.

Det er særligt interessant for et lille sprogområde som det danske. Engelsksprogede modeller kan trænes på nærmest ufattelige mængder tekst fra nettet. Den luksus har et sprog, der tales af omkring seks millioner mennesker, ikke.

– Vi har ikke så meget data, og slet ikke dansk data. Men fordi vi ikke har brug for så meget data, så kan vi pludselig være med alligevel, siger Schneider-Kamp.

Omkring 22 procent af modellens træningsdata er ifølge ham danske. Yderligere fem procent handler om oversættelse til og fra dansk.

Og så bliver modellen præsenteret for konkrete opgaver: Opsummér denne tekst/find fejlene/skriv historien videre/oversæt mellem dansk og engelsk/løs matematiske problemer osv.

Det er blandt andet den mere målrettede træning, der gør det muligt at få meget ud af en forholdsvis lille model, som faktisk er lille nok til at bo på en bærbar computer.

For den lille størrelse har en anden væsentlig konsekvens. Modellen kræver nemlig langt mindre regnekraft at anvende end de enorme modeller, som mange forbinder med generativ AI. Det betyder for det første et lavere energiforbrug. For det andet betyder det, at de data, brugeren sender ind i modellen, ikke behøver at forlade computeren.

– Så er det kun den strøm, du bruger på din maskine. Og så er der ikke nogen data, der bliver sendt ud, forklarer Schneider-Kamp.

Det åbner potentielt for anvendelser, hvor organisationer ikke ønsker at sende data til eksterne AI-tjenester, og hvor prisen eller energiforbruget ved store modeller ellers kan være en barriere.

AI behøver ikke sluge al vores strøm

Netop størrelsen rammer også ind i en af de store bekymringer, der har fulgt AI-boomet.

Da ChatGPT slog igennem, fulgte prognoser om et eksploderende behov for datacentre, chips og elektricitet.  Men heldigvis har udviklingen vist sig at gå i en anden retning - modellerne er i stedet blevet mere effektive.

Den nye danske model er et eksempel på den udvikling.

– Det er faktisk lidt utroligt og fortrøstningsfuldt. Det giver lidt håb, siger Schneider-Kamp.

Hans pointe er ikke, at AI’s energiforbrug dermed er løst. For vi bruger jo teknologien mere og mere, men hvis de nye modeller kan løse de samme opgaver med en brøkdel af størrelsen og langt færre mængde af træningsdataene, ændrer det regnestykket. Og forskerne har næppe fundet den mest effektive metode endnu.

Fra AI-afhængighed til digital suverænitet

For Schneider-Kamp er det vigtigste dog ikke en benchmark eller en placering på en rangliste.

Det handler især om, hvem Danmark og Europa bliver afhængige af.

I dag leveres nogle af verdens mest avancerede AI-systemer af ganske få amerikanske og kinesiske virksomheder. Det betyder, at adgang, priser, tekniske begrænsninger og i sidste ende de regler, modellerne fungerer under, i høj grad bestemmes uden for Danmark.

En model, som kan hentes og køres lokalt, ændrer noget ved det forhold.

– Det betyder, at vi kan være datasuveræne. At vi kan være uafhængige af amerikanere og kinesere, som måske slukker for deres modeller, hvis de ikke synes, at europæerne skal have dem, siger Schneider-Kamp.

Han peger også på økonomien. De største AI-modeller er ekstremt dyre at udvikle og drive. Små, effektive modeller kan derfor være med til at gøre teknologien tilgængelig for flere og mindske afhængigheden af de abonnementstjenester, techgiganterne kontrollerer.

– Det skåner miljøet og samtidig er det med til at demokratiserer AI på en måde, siger han.

Danmark har førertrøjen på – nu gælder det om at blive ved med at hænge i pedalerne

Danish Foundation Models begyndte blandt andet ud fra en bekymring for, hvad der sker, hvis dansk sprog, danske værdier og danske institutioner bliver en parentes i en AI-udvikling domineret af verdens største lande og virksomheder.

Den bekymring er ikke forsvundet, men udviklingen af den nye model viser, at konklusionen heller ikke behøver at være, at et lille land som Danmark umuligt kan følge med.

Man behøver måske ikke altid de største modeller, de største datamængder og de største datacentre. Nogle gange handler teknologisk konkurrenceevne også om at finde en smartere måde at gøre tingene på.

Og lige nu er situationen derfor næsten vendt på hovedet. Danmark forsøger ikke længere kun at indhente de andre. I letvægtsklassen er det – i hvert fald indtil den næste model bliver lanceret – de andre, der skal forsøge at indhente Danmark.

Bidragydere til udvikling af Mimir: Peter Schneider-Kamp, Jacob Nielsen, Lukas Galke Poech, Gianluca Barmina, Mogens Henrik From, Andrea Blasi Núñez, Kenneth Enevoldsen, Annemette Brok Pirchert, Stine Lyngsø Beltoft, Torben Blach, Sofie Helene Bruun, Oliver Kinch, Rasmus Larsen, Dan Saattrup Smart og Kristoffer Laigaard Nielbo. Klik på billedet for at se en større version.