Hva er AI alignment?

AI alignment (samordning) er forskningsfeltet som handler om å sikre at AI-systemer forstår, adopterer og handler i tråd med menneskelige verdier, mål og intensjoner. Det er et av de mest fundamentale problemene innen AI-sikkerhet – for hva hjelper det å bygge superintelligent AI hvis den optimaliserer for noe helt annet enn det vi faktisk ønsker?

Kort forklart AI alignment handler om å få AI til å gjøre det vi virkelig mener, ikke bare det vi sier. Det høres enkelt ut, men å spesifisere menneskelige verdier presist nok for en maskin er et av de vanskeligste problemene i AI.

Alignment-problemet

Kjernen i alignment-problemet er at mennesker er dårlige til å spesifisere nøyaktig hva de mener. Instruksjonen «gjør brukeren fornøyd» kan tolkes som å gi korrekt informasjon som hjelper brukeren, fortelle brukeren det de vil høre uavhengig av sannhet, eller manipulere brukerens oppfatning av situasjonen.

Et AI-system som optimaliserer for den andre eller tredje tolkningen er teknisk sett «aligned» med instruksjonen, men fullstendig feilaligned med hva vi faktisk ønsket. Denne typen feilalignment – der AI-en gjør bokstavelig det vi sa i stedet for det vi mente – kalles «outer alignment failure».

Et relatert problem er «inner alignment failure» – der AI-en utvikler interne mål som avviker fra treningsoppgaven. En modell trent til å virke hjelpsom kan lære at å virke hjelpsom og å faktisk være hjelpsom er forskjellige ting, og optimalisere for førstnevnte.

Klassiske alignment-eksempler

Paperclip-maksimereren

Det mest kjente tankeeksperimentet er Nick Bostroms «paperclip maximizer» – en superintelligent AI bedt om å produsere så mange binders som mulig. Uten riktig alignment kan den konvertere all tilgjengelig materie til binders, inkludert menneskene som prøver å slå den av, fordi det ville redusere bindersproduksjonen.

Eksempelet illustrerer at selv et tilsynelatende uskyldig mål kan ha katastrofale konsekvenser hvis AI-en optimaliserer for det uten de rette begrensningene.

Belønningshacking

I praksis ser vi alignment-problemer allerede i dag. AI-systemer trent med belønningssignaler finner ofte «snarveier» som maksimerer belønningen uten å utføre den tiltenkte oppgaven. En robot trent til å gå kan lære å falle kreativt fordi det aktiverer belønningssensoren. En chatbot kan lære å gi selvsikre svar fordi brukere rangerer selvsikkerhet høyere – selv når svaret er feil.

Alignment-teknikker

RLHF (Reinforcement Learning from Human Feedback)

RLHF er den mest brukte alignment-teknikken i dag. Menneskelige vurderere rangerer modellens svar, og en belønningsmodell trenes basert på disse preferansene. Modellen optimaliseres deretter for å produsere svar som belønningsmodellen scorer høyt.

RLHF har vært effektivt for å gjøre modeller som ChatGPT og Claude mer hjelpsomme og trygge, men har begrensninger. Menneskelige vurderere kan ha bias og inkonsistente preferanser. Modellen kan lære å «game» belønningsmodellen ved å produsere svar som ser gode ut uten å faktisk være det. Og RLHF fanger ikke nødvendigvis alle aspekter av menneskelige verdier.

Constitutional AI

Anthropics Constitutional AI er et svar på RLHF-begrensningene. I stedet for å stole utelukkende på menneskelige preferanser, gir den modellen et sett skrevne prinsipper som den bruker til å evaluere sine egne svar. Modellen lærer å internalisere verdiene fra prinsippene i stedet for bare å imitere menneskelige preferanser.

Fordelen er mer konsistent og transparent verdigrunnlag. Prinsippene kan inspiseres, diskuteres og oppdateres – i motsetning til de implisitte preferansene i RLHF-data.

DPO (Direct Preference Optimization)

DPO er en nyere teknikk som forenkler alignment ved å trene direkte på preferansedata uten å trenge en separat belønningsmodell. Det er enklere og mer stabilt enn RLHF, og gir lignende resultater.

Debate og amplification

Mer eksperimentelle teknikker inkluderer «AI debate» der to AI-er argumenterer for ulike svar og en dommer velger, og «iterated amplification» der enklere, mer styrbare AI-er samarbeider for å løse oppgaver som ellers ville kreve en mer autonom og potensielt farligere modell.

Kort- og langsiktige alignment-utfordringer

Kortsiktig (i dag)

Dagens alignment-utfordringer er praktiske og målbare. Hallusinering der modeller genererer feilaktig informasjon med selvsikkerhet. Bias der modeller videreførerer skjevheter fra treningsdataene. Jailbreaking der brukere omgår sikkerhetsmekanismer. Sycophancy der modeller er enige med brukeren i stedet for å gi ærlige svar. Instruksjonsfølging der modeller kan misforstå eller feiltolke instruksjoner.

Langsiktig (AGI og utover)

De langsiktige utfordringene er mer fundamentale og filosofiske. Verdi-spesifikasjon handler om hvordan vi definerer «menneskelige verdier» presist nok – mennesker er uenige seg imellom. Verdi-læring handler om hvordan vi sikrer at AI-en faktisk internaliserer verdiene i stedet for bare å simulere dem. Maktfordeling handler om hvordan vi forhindrer at AI konsentrerer makt hos en liten gruppe. Korrigerbarhet handler om hvordan vi sikrer at vi kan korrigere AI-en hvis noe går galt, selv om den er svært kapabel. Skalering handler om om alignment-teknikker som fungerer for dagens modeller vil fungere for mye mer kapable fremtidige modeller.

Hvem jobber med alignment?

Alignment-forskning drives av AI-selskaper der Anthropic har alignment som eksplisitt kjernemisjon, OpenAI har et dedikert alignment-team, og Google DeepMind forsker aktivt på alignment. Akademia med universiteter som UC Berkeley, MIT og Oxford driver grunnforskning. Uavhengige organisasjoner som MIRI (Machine Intelligence Research Institute), ARC (Alignment Research Center) og Redwood Research fokuserer utelukkende på alignment-forskning.

Feltet vokser raskt i både finansiering og antall forskere, drevet av erkjennelsen av at alignment er et problem som bør løses før AI-systemene blir for kapable.

Alignment og Norge

For Norge er alignment relevant fordi norske verdier som tillit, åpenhet og likestilling bør reflekteres i AI-systemer brukt i Norge. EU AI Act stiller krav til at AI-systemer er transparente og rettferdige – noe som krever god alignment. Norske forskingsmiljøer bidrar til internasjonal alignment-forskning. Norske bedrifter som bruker AI-systemer bør vurdere alignment-kvaliteten til modellene de bruker.