Definisjon
Finjustering er prosessen med å tilpasse en forhåndstrent maskinlæringsmodell til en ny oppgave ved hjelp av tilleggstrening på mindre, domenespesifikke datasett.
Formål
Hensikten er å gjenbruke kunnskap fra store modeller og forbedre ytelsen på spesialiserte oppgaver med færre ressurser.
Viktigheten
- Reduserer opplæringskostnader og tid sammenlignet med å bygge modeller fra bunnen av.
- Forbedrer ytelsen på domenespesifikke oppgaver.
- Risikerer overtilpasning hvis treningsdataene er for smale.
- Relatert til overføringslæring.
Slik fungerer det
- Velg en forhåndstrent basismodell.
- Erstatt eller juster oppgavespesifikke lag.
- Tren med merkede data fra det nye domenet.
- Juster læringstakten for å balansere gammel og ny kunnskap.
- Valider og test for generalisering.
Eksempler (den virkelige verden)
- BERT finjustert for sentimentanalyse.
- GPT-modeller finjustert for kundesupport-chatboter.
- Synsmodeller finjustert for klassifisering av medisinsk bildebehandling.
Referanser / Videre lesning
- Howard & Ruder. «Finjustering av universell språkmodell» (ULMFiT). ACL 2018.
- Dokumentasjon om klemmende ansikt-transformatorer.
- Pan og Yang. "En undersøkelse om overføringslæring." IEEE TKDE.
- Hva er finjustering for store språkmodeller? – Shaip
