Hva er transfer learning?

Transfer learning er en maskinlæringsteknikk der kunnskap fra en modell som er trent på én oppgave eller ett datasett, overføres og gjenbrukes som utgangspunkt for å løse en annen, relatert oppgave.

Kort forklart Transfer learning betyr at en AI-modell tar med seg det den allerede har lært til en ny oppgave. I stedet for å starte fra null, bygger den videre på eksisterende kunnskap – omtrent som en tømmerer som bruker snekkererfaringen sin til å lære møbeldesign.

Hva betyr begrepet

«Transfer» betyr overføring – å flytte kunnskap fra ett sted til et annet. «Learning» betyr læring. Sammen beskriver begrepet prosessen der en modell bruker det den har lært i én sammenheng til å prestere bedre i en annen.

Ideen bygger på en observasjon fra dyp læring: de tidlige lagene i et nevralt nettverk lærer generelle egenskaper som er nyttige for mange oppgaver, mens de siste lagene spesialiserer seg. Ved å beholde de generelle lagene og bare trene de siste på nytt, kan man løse nye oppgaver med mye mindre data og tid.

Transfer learning er en av grunnene til at AI har blitt så tilgjengelig. Uten det ville hver ny AI-applikasjon kreve massive datamengder og ukesvis med trening.

Hvordan fungerer det

Transfer learning følger en prosess der en stor, generell modell tilpasses til en spesifikk oppgave.

Stor generell modell (fortrening) → Frys tidlige lag → Tren siste lag på nye data → Spesialisert modell

Prosessen har typisk tre varianter:

Feature extraction bruker den fortrente modellen som en fast «funksjonsuttrekker». De tidlige lagene beholdes uendret, og bare et nytt utgangslagg trenes på den nye oppgaven. Dette krever minst data og tid.

Finjustering åpner opp deler av eller hele den fortrente modellen for videre trening. Vektene justeres forsiktig med en lav læringsrate for å tilpasse modellen uten å ødelegge det den allerede kan. Denne metoden gir ofte bedre resultater, men krever mer data.

Domenetilpasning trener modellen videre på umerket data fra det nye domenet før den finjusteres på den spesifikke oppgaven. For eksempel kan en generell språkmodell først trenes videre på medisinske tekster, og deretter finjusteres til å klassifisere diagnoser.

Hvorfor er det viktig

Transfer learning har demokratisert AI-utvikling. Å trene en stor modell fra bunnen av krever millioner av kroner i datakraft, uker med tid og enorme datamengder. Med transfer learning kan en utvikler med en vanlig datamaskin og noen hundre eksempler oppnå svært gode resultater ved å bygge videre på en eksisterende modell.

Teknikken er spesielt verdifull i domener der data er vanskelig å samle inn, som medisin, juss og industri. Et sykehus trenger ikke millioner av røntgenbilder for å trene en AI – det holder med noen tusen hvis man starter med en modell som allerede forstår bilder generelt.

Transfer learning er også grunnlaget for hele økosystemet rundt store språkmodeller. GPT, Claude og Gemini er alle generelle modeller som kan tilpasses til spesifikke oppgaver gjennom ulike former for overføringslæring.

Eksempler

Medisinsk bildeanalyse: En modell trent på millioner av vanlige bilder (ImageNet) overføres til å oppdage hudkreft. De tidlige lagene gjenkjenner allerede kanter, teksturer og former. Bare de siste lagene trenes til å skille mellom godartede og ondartede forandringer.

Flerspråklige modeller: En språkmodell trent på engelsk kan overføres til norsk med relativt lite norsk treningsdata. Modellen har allerede lært generelle språkmønstre som er overførbare mellom språk.

Industriell kvalitetskontroll: En bildegjenkjenningsmodell trent på generelle objekter tilpasses til å oppdage defekter på en spesifikk produksjonslinje. Fabrikken trenger bare noen hundre bilder av defekte og feilfrie produkter.

Stemmegjenkjenning: En modell trent på vanlig tale kan tilpasses til å gjenkjenne tale i støyende omgivelser eller i spesifikke dialekter med relativt få nye lydopptak.

Vanlige spørsmål

Hva er forskjellen på transfer learning og finjustering?

Transfer learning er det overordnede konseptet – å overføre kunnskap mellom oppgaver. Finjustering er én bestemt metode innen transfer learning der man trener deler av en eksisterende modell videre på nye data. Feature extraction er en annen metode.

Fungerer transfer learning på tvers av helt ulike oppgaver?

Det fungerer best når oppgavene er relaterte. En modell trent på bilder av dyr overfører godt til andre bildeoppgaver, men dårligere til tekstanalyse. Jo mer forskjellige oppgavene er, desto mindre effektiv er overføringen.

Trenger man mye data for transfer learning?

Mye mindre enn for trening fra bunnen av. Noen ganger holder det med noen titalls eksempler for enkle oppgaver. For mer komplekse tilpasninger kan noen hundre til noen tusen eksempler være nødvendig – fortsatt langt mindre enn millionene som kreves for fortrening.

Hvor finner man fortrente modeller?

Hugging Face er den mest populære plattformen for å dele og laste ned fortrente modeller. Google, Meta og andre selskaper publiserer også åpne modeller. For bilderelaterte oppgaver er modeller fortrenet på ImageNet det vanligste utgangspunktet.

Kan transfer learning gi dårligere resultater?

Ja, i noen tilfeller. Hvis kildeoppgaven er for forskjellig fra måloppgaven, kan overført kunnskap faktisk forstyrre læringen. Dette kalles «negativ overføring» og er grunnen til at valg av riktig utgangspunktmodell er viktig.

Relaterte begreper

Maskinlæring – det overordnede feltet transfer learning tilhører
Dyp læring – teknologien der transfer learning er mest utbredt
Finjustering av AI – en spesifikk metode innen transfer learning
Nevrale nettverk – modellstrukturen som gjør transfer learning mulig
Store språkmodeller – fortrente modeller som ofte brukes som utgangspunkt

Se også

Oppsummering

Transfer learning er en teknikk der kunnskap fra en ferdigtrent AI-modell gjenbrukes for å løse nye oppgaver. Det reduserer behovet for store datamengder og lang treningstid dramatisk, og er grunnen til at avansert AI nå er tilgjengelig for bedrifter og utviklere med begrensede ressurser.