En lille dansk sprogmodel skal give større kontrol over AI

Når ansatte og studerende bruger kunstig intelligens, sker det ofte gennem tjenester fra store udenlandske virksomheder. Men på SDU arbejder forskere også med at udvikle selve teknologien.

Et af resultaterne er Mimir, en lille sprogmodel udviklet under forskningssamarbejdet Danish Foundation Models. Den er trænet fra bunden med særligt fokus på dansk sprog og viden om danske forhold og kan hentes og køres på en lokal computer eller en organisations egen server.

Professor Peter Schneider-Kamp fra Institut for Matematik og Datalogi fortæller her om modellens muligheder og begrænsninger og om, hvorfor danske sprogmodeller er en vigtig forskningsopgave.

1. Hvad er Mimir, og hvad er det særlige ved modellen?

En sprogmodel er teknologien bag mange af de chatbots, der kan besvare spørgsmål og skrive tekster.

– Vi er lykkedes med at lave en lille model, som klarer sig bedre end de førende modeller i samme størrelse fra Google og Alibaba. Faktisk er den på niveau med modeller, som er langt større. Så det er et stort resultat.

Ifølge Schneider-Kamp er Mimir særlig stærk til dansk grammatik. På test af grammatisk korrekthed og rettelse af grammatiske fejl klarer den sig bedst blandt alle modeller, forskerholdet har sammenlignet med, uanset størrelse.

En mindre model kan kræve færre computerressourcer og dermed gøre det muligt at bruge den på en lokal computer, fx til at rette sprog eller opsummere en samtale.

– Udviklingen har været præget af større og større modeller med et stort ressourceforbrug. Nu ser vi, at mindre modeller kan løse nogle af de samme opgaver. Jeg var selv overrasket over, hvor godt Mimir løser opgaverne.

2. Hvorfor udvikle en dansk sprogmodel?

– Fra begyndelsen var vi optaget af datasuverænitet. Det handler om selv at have kontrol over, hvor vores data bliver behandlet, og hvilke data vi bruger til at træne modellerne. Vi ville samtidig sikre, at dansk sprog, kultur og værdier blev repræsenteret.

– Det vigtigste er, at vi har trænet modellen fra bunden og udelukkende med data, som vi må bruge til formålet. Vi har selv stået for træningen og udvælgelsen af data med fokus på ophavsret og beskyttelse af personoplysninger.

For Schneider-Kamp handler arbejdet også om adgang. Danmark og Europa kan efter hans vurdering ikke tage for givet, at de altid vil have adgang til de største og nyeste udenlandske modeller. Derfor er det vigtigt at udvikle alternativer, som andre kan undersøge, tilpasse og bygge videre på.

3. Hvad kan Mimir bruges til allerede nu?

Schneider-Kamp peger på rettelse af stave- og grammatikfejl og opsummering af samtaler og mødereferater som konkrete anvendelser. Det er opgaver, der er relevante på universiteter, i virksomheder og hos myndigheder.

Mimir kan også besvare spørgsmål, skrive tekster, regne og programmere. Den kan dog ikke konkurrere med de største modeller på alle områder.

– Man skal ikke forvente, at Mimir fra begyndelsen kan konkurrere bredt med de nyeste modeller bag ChatGPT og Claude. Men på nogle områder er den allerede bedre end den oprindelige ChatGPT, blandt andet til at regne og programmere.

Mimir har ikke samme brede paratviden som de store modeller, men kan arbejde med oplysninger, brugeren giver den. Den kan også indgå i løsninger, hvor en søgefunktion henter aktuelle oplysninger fra nettet, som modellen kan bruge i sine svar.

Mimir kan desuden køres lokalt. Hvis både modellen og det program, den bruges i, kører på computeren og ikke sender samtaledata til eksterne tjenester, bliver oplysningerne på computeren. Modellen er frit tilgængelig, men der er selvfølgelig fortsat udgifter til udstyr, strøm og drift.

4. Hvordan kan AI ændre arbejdet på SDU?

Schneider-Kamp forventer, at AI bliver mere integreret i de systemer, ansatte og studerende allerede arbejder i.

– I dag foregår meget af brugen gennem chatbots. Man kopierer materiale ind, får et svar og kopierer det videre til et andet program. Om fem år tror jeg, at AI vil være mindre synlig som et selvstændigt værktøj.

Han forestiller sig fx, at en biolog kan bede et system undersøge en sammenhæng i forskningsdata og få resultatet vist som figurer eller tekst. Det kræver både egnede modeller og en infrastruktur, hvor oplysningerne kan behandles forsvarligt.

Her spiller UCloud en rolle. Mimir er trænet med computerressourcer fra UCloud, og UCloud AI giver adgang til at anvende sprogmodeller på dansk infrastruktur. Platformen kan bruges til arbejde med følsomme data, når anvendelsen ligger inden for de godkendte rammer.

– Vi har brug for gode modeller, der er frit tilgængelige, og som vi kan køre lokalt, så vi ikke er afhængige af at dele vores data.

5. Hvad er næste skridt for Mimir?

– Vi forventer, at næste version kan håndtere flere europæiske sprog. Frem mod 2027 arbejder vi også på en større version, som vi forventer kan konkurrere med de mellemstore modeller.

Virksomheder som Ordbogen A/S, der har bidraget til udviklingen af Mimir, arbejder samtidig på løsninger, der bygger videre på modellerne.

– I Danish Foundation Models er vores hovedopgave at udvikle åbne, veldokumenterede sprogmodeller, som er trænet på data, vi må bruge, og som andre kan bygge videre på. Vi skaber fundamentet, som virksomheder og andre aktører kan bruge til at udvikle konkrete løsninger.

Ambitionen er at udvikle den bedste europæiske sprogmodel og vise, at Europa kan være med i udviklingen.

– Vi har begrænsede ressourcer, og det tvinger os til at finde andre veje. Med Mimir har vi vist, at vi kan udvikle en konkurrencedygtig model uden et milliardbudget.