Definisjon
Parametereffektiv finjustering (PEFT) er en teknikk for å tilpasse store forhåndstrente modeller til nye oppgaver ved å bare oppdatere et lite delsett av parametere i stedet for hele modellen.
Formål
Hensikten er å redusere beregningskostnader og lagringsbehov, samtidig som man opprettholder god oppgaveytelse.
Viktigheten
- Gjør finjustering mulig for organisasjoner uten enorme ressurser.
- Reduserer karbonavtrykket sammenlignet med full modelltrening.
- Muliggjør effektiv oppgavebytte i produksjonen.
- Relatert til metoder som LoRA og adaptere.
Slik fungerer det
- Velg en stor, forhåndstrent basismodell.
- Identifiser parameterdelsett (f.eks. lavrangerte adaptere).
- Tren bare disse delsettene på måloppgavedata.
- Hold andre parametere frosset.
- Implementer med minimal ressursoverhead.
Eksempler (den virkelige verden)
- LoRA (Low-Rank Adaptation): mye brukt i finjustering av LLM-er.
- Hugging Face PEFT-bibliotek: effektivt verktøysett for finjustering.
- Google-undersøkelse: adaptere for flerspråklige NLP-oppgaver.
Referanser / Videre lesning
- Hu et al. «LoRA: Lavrangtilpasning av store språkmodeller.» arXiv.
- Houlsby et al. «Parametereffektiv overføringslæring for NLP.» ACL.
- PEFT-dokumentasjon for klemmende ansikt.
