Fråser du i chatbot-energi uden at tænke over det?

Gad vide, hvordan en blanding af en hest og en cykel ville se ud? Hvordan laver man vingummi? Hvor mange film er der lavet om onde sygeplejersker?

Du kender det. Du taster planløst ind i chatbotten, det er bare adspredelse, du keder dig. Svarene skal du bruge til absolut ingenting. Og hvad rager det andre, tænker du måske, lad mig dog have mine formålsløse søgninger i fred, men det angår faktisk andre, det angår dine medmennesker her på planeten, for hver eneste gang dine fingre trykker en tast i bund i jagten på svar, er der et forbrug af energi, som sender CO2 op i atmosfæren.

Helt konkret koster en gennemsnitlig google søgning i omegnen af 0,0003 kWh. Med den mængde energi kan du tænde en 60 watts pære i 17 sekunder. Hvis du spørger ChatGPT i stedet for google, stiger forbruget mange gange, og så lander energiforbruget for en typisk søgning på 2,5 – 10 Wt. Dertil kommer et vandforbrug på 10-25 ml til køling. Hvis vi – konservativt - regner med, at 100 millioner mennesker hver dag spørger ChatGPT-4 om 3-4 ting, vil energiforbruget på bare en måned svare til adskillige atomkraftværkers output og millioner af kubikmeter vand.

Burde vi lære at styre os?

Bør vi tage os sammen og skrue ned for vores ligegyldige og unødvendige søgninger for at spare på energiforbruget?

- Det kan man selvfølgelig godt diskutere. Men hvem skal bestemme, om en søgning er nødvendig? Det, der er unødvendigt for nogle, kan være nødvendigt for andre, så det kan da være et svært sted at sætte ind for at få energiforbruget ned, siger Lukas Galke, der er adjunkt i Data Science-gruppen på Institut for Matematik og Datalogi.

I stedet vil han og kolleger i et nyt projekt hellere se på, hvad udviklerne af chatbots kan gøre for, at vores søgninger bliver mere bæredygtige – altså mindre energikrævende. Helt specifikt har han øjnene rettet mod de store sprogmodeller, som er hjernen i de mange tilgængelige chatbots.

Sammen med kollegaen, professor Peter Schneider-Kamp, også fra Institut for Matematik og Datalogi, har han modtaget en bevilling på 100.000 såkaldte node hours (svarende til seks mio. kr.) på supercomputeren LEONARDO til to projekter, hvoraf det ene handler om at gøre store sprogmodeller mere bæredygtige. Med på holdet er også den danske virksomhed Ordbogen A/S. Det andet projekt har fokus på at udvikle danske sprogmodeller.

- Vi kan ikke og ønsker heller ikke at forhindre, at folk interagerer med store sprogmodeller, men vi kan i det mindste gøre en indsats for, at forbruget ikke ødelægger planeten, siger Lukas Galke.

De store sprogmodeller er ekstremt energikrævende at træne. Træning er altafgørende og nødvendig, før en chatbot kan begynde at give et nogenlunde fornuftigt svar på brugerens spørgsmål.

Det myldrer med store sprogmodeller

- Det koster hurtigt flere hundrede millioner dollars på strømregningen at træne en sprogmodel, og der bliver hele tiden trænet i hundrede tusindvis af dem. Nogle er udbredte og bliver brugt af mange, nogle har en kort storhedstid på måske blot en uge, og atter andre bliver aldrig rigtigt brugt, forklarer Lukas Galke.

Tag OpenAIs GPT-4: Det tog 5-6 seks måneder at træne den, og energiforbruget røg op omkring de 50 gigawatt timer. Hvis man omregner det til den energi, der får en bil til at køre, vil det svare til at have så meget benzin i tanken, at man ikke skal tanke de første 29 millioner km.

Med til dette regnestykke hører, pointerer Lukas Galke, at der er tale om engangsudgifter til træning, og at prisen for en søgning så selvsagt bliver mindre jo flere, der bruger modellen.

Håber på at nedsætte energiforbruget med 30 gange

- Men det er stadig mange penge, og derfor arbejder vi på at nedbringe energiforbruget. Vores mål er ikke at nedbringe energiforbruget på selve træningen, men at træne en model, der vil have et lavere energiforbrug ved inferens; altså ved den aktivitet, der opstår, når en bruger interagerer med systemet.

En sprogmodel har milliarder af såkaldte parametre, som hver især består af et antal bits, som sørger for at udføre beregningerne. 8-16 bits pr. parameter er ikke unormalt, men det kan blive færre, mener Lukas Galke, og færre bits betyder mindre energiforbrug.

- Vi ønsker at minimere det til 1,58 bits pr. parameter, så modellen får tre mulige værdier for hver paramater: -1, 0 og 1. Det vil gøre driften af en sprogmodel meget billigere og gøre det muligt at køre sprogmodeller på f.eks. en PC eller måske endda på mobile enheder. Dette er særligt vigtigt, når man tænker på, at trenden er at investere mere computerkraft i at få bedre resultater i inferenstiden. Altså: at sprogmodeller kan udforske og evaluere mulige svar (at de ”tænker”), før de giver deres endelige svar. Det, som vi specifikt går efter i dette projekt er at se, om vi kan tage en standard 8-16 bit præ-trænet model og transformere den til en 1,58 bit model, efter at den er trænet – det kunne spare endnu mere energi, end hvis man træner en 1,58 bit.

Hvis det lykkes for Lukas Galke og Peter Schneider-Kamp at få energiforbruget så langt ned, som de håber, vil en søgning ende med at koste 30 gange mindre end i dag.