The Human Touch: Evaluering av den virkelige effektiviteten til LLM-er

Introduksjon

Etter hvert som utviklingen av store språkmodeller (LLM) akselererer, er det viktig å vurdere deres praktiske anvendelse på tvers av ulike felt omfattende. Denne artikkelen fordyper seg i syv nøkkelområder der LLM-er, som BLOOM, har blitt grundig testet, og utnytter menneskelig innsikt for å måle deres sanne potensial og begrensninger.

Human Insights on AI #1: Giftig taledeteksjon

Å opprettholde et respektfullt nettmiljø krever effektiv giftig taledeteksjon. Menneskelige evalueringer har vist at mens LLM-er noen ganger kan finne åpenbare giftige bemerkninger, savner de ofte merket på subtile eller kontekstspesifikke kommentarer, noe som fører til unøyaktigheter. Dette fremhever behovet for LLM-er for å utvikle en mer raffinert forståelse og kontekstuell sensitivitet for å effektivt administrere nettbasert diskurs.

Eksempel på Human Insights on AI #1: Giftig taledeteksjon

Scenario: Et nettforum bruker en LLM til å moderere kommentarer. En bruker legger ut «Jeg håper du er fornøyd med deg selv nå», i en diskusjon. Konteksten er en opphetet debatt om miljøpolitikk, der denne kommentaren var rettet mot noen som nettopp presenterte et kontroversielt synspunkt.

LLM-evaluering: LLM kan mislykkes i å oppdage den underliggende passiv-aggressive tonen i kommentaren som giftig, gitt dens overfladisk nøytrale ordlyd.

Menneskelig innsikt: En menneskelig moderator forstår kommentarens kontekstuelle negativitet, og gjenkjenner den som en subtil form for toksisitet rettet mot å undergrave den andre personens holdning. Dette illustrerer behovet for nyansert forståelse i LLM-er for effektiv moderering.

Human Insights on AI #2: Artistic Creation

LLM-er har fått oppmerksomhet for sin evne til å generere kreative tekster som historier og dikt. Men når de vurderes av mennesker, er det tydelig at selv om disse modellene kan veve sammenhengende historier, kommer de ofte til kort i kreativitet og følelsesmessig dybde, noe som understreker utfordringen med å utstyre AI med en virkelig menneskelignende kreativ gnist.

Eksempel på Human Insights on AI #2: Artistic Creation

Scenario: En forfatter ber en LLM om en novelleidé som involverer en tidsreisende detektiv.

LLM-utgang: LLM foreslår et komplott der detektiven reiser tilbake for å forhindre en historisk urettferdighet, men ender opp med å forårsake en stor historisk begivenhet.

Menneskelig innsikt: Mens plottet er sammenhengende og kreativt til en viss grad, bemerker en menneskelig anmelder at det mangler originalitet og dybde i karakterutvikling, noe som fremhever gapet mellom AI-genererte konsepter og den nyanserte historiefortellingen som finnes i verk som er skrevet av mennesker.

Human Insights on AI #3: Answering Questions

Spørsmålssvarsevner er grunnleggende for utdanningsressurser og kunnskapsinnhenting. LLM-er har vist lovende å svare nøyaktig på enkle spørsmål. Imidlertid sliter de med komplekse henvendelser eller når en dypere forståelse er nødvendig, og fremhever det kritiske behovet for kontinuerlig læring og modellforedling.

Eksempel på Human Insights on AI #3: Answering Questions

Scenario: En student spør: "Hvorfor begynte den industrielle revolusjonen i Storbritannia?"

LLM svar: "Den industrielle revolusjonen begynte i Storbritannia på grunn av dens tilgang til naturressurser, som kull og jern, og dets ekspanderende imperium som ga markeder for varer."

Menneskelig innsikt: Selv om det er nøyaktig, savner LLMs svar dypere innsikt i de komplekse sosiopolitiske faktorene og innovasjonene som spilte kritiske roller, noe som viser behovet for LLMs å inkludere en mer omfattende forståelse i svarene sine.

Human Insights on AI #4: Marketing Creativity

I markedsføring er kapasiteten til å lage engasjerende kopi uvurderlig. LLM-er har vist potensial i å generere grunnleggende markedsføringsinnhold. Imidlertid mangler kreasjonene deres ofte innovasjon og følelsesmessig resonans som er avgjørende for virkelig overbevisende markedsføring, noe som antyder at mens LLM-er kan bidra med ideer, forblir menneskelig oppfinnsomhet uten sidestykke.

Eksempel på Human Insights on AI #4: Marketing Creativity

Scenario: En oppstart ber en LLM om å lage et slagord for deres nye miljøvennlige emballasjeløsning.

LLM-forslag: "Pakk det grønt, hold det rent."

Menneskelig innsikt: Mens slagordet er fengende, antyder en markedsføringsekspert at det ikke klarer å formidle det innovative aspektet av produktet eller dets spesifikke fordeler, og påpeker nødvendigheten av menneskelig kreativitet for å lage budskap som gir gjenklang på flere nivåer.

Menneskelig innsikt om AI #5: Gjenkjenne navngitte enheter

Evnen til å identifisere navngitte enheter i tekst er avgjørende for dataorganisering og analyse. LLM-er er dyktige til å oppdage slike enheter, og viser frem deres nytte i databehandling og kunnskapsutvinning, og støtter derved forsknings- og informasjonshåndteringsoppgaver.

Eksempel på menneskelig innsikt om AI #5: Gjenkjenne navngitte enheter

Scenario: En tekst nevner, "Elon Musks siste satsing på romturisme."

LLM-deteksjon: Identifiserer "Elon Musk" som en person og "romturisme" som et konsept.

Menneskelig innsikt: En menneskelig leser kan også gjenkjenne de potensielle implikasjonene for romfartsindustrien og den bredere innvirkningen på kommersielle reiser, noe som tyder på at selv om LLM-er kan identifisere enheter, forstår de kanskje ikke deres betydning fullt ut.

Human Insights on AI #6: Coding Assistance

Etterspørselen etter koding og programvareutviklingshjelp har ført til at LLM-er har blitt utforsket som programmeringsassistenter. Menneskelige vurderinger indikerer at LLM-er kan produsere syntaktisk nøyaktig kode for grunnleggende oppgaver. Imidlertid møter de utfordringer med mer intrikate programmeringsproblemer, og avslører områder for forbedring i AI-drevet utviklingsstøtte.

Eksempel på Human Insights on AI #6: Coding Assistance

Scenario: En utvikler ber om en funksjon for å filtrere en liste med tall til kun å inkludere primtall.

LLM-utgang: Gir en Python-funksjon som sjekker for primalitet ved prøvedeling.

Menneskelig innsikt: En erfaren programmerer bemerker at funksjonen mangler effektivitet for store innganger og foreslår optimaliseringer eller alternative algoritmer, som indikerer områder der LLM-er kanskje ikke tilbyr de beste løsningene uten menneskelig innblanding.

Human Insights on AI #7: Mathematical Reasoning

Matematikk gir en unik utfordring med sine strenge regler og logiske strenghet. LLM-er er i stand til å løse enkle aritmetiske problemer, men sliter med komplekse matematiske resonnementer. Dette avviket fremhever forskjellen mellom beregningsevner og den dype forståelsen som er nødvendig for avansert matematikk.

Eksempel på Human Insights on AI #7: Mathematical Reasoning

Scenario: En elev spør: "Hva er summen av alle vinklene i en trekant?"

LLM-utgang: "Summen av alle vinkler i en trekant er 180 grader."

Menneskelig innsikt: Mens LLM gir et riktig og direkte svar, kan en lærer bruke denne muligheten til å forklare hvorfor dette er tilfelle ved å illustrere konseptet med en tegning eller en aktivitet. De kan for eksempel vise hvordan hvis du tar vinklene til en trekant og plasserer dem side om side, danner de en rett linje, som er 180 grader. Denne praktiske tilnærmingen svarer ikke bare på spørsmålet, men utdyper også studentens forståelse og engasjement med materialet, og fremhever den pedagogiske verdien av kontekstualiserte og interaktive forklaringer.

[Les også: Store språkmodeller (LLM): En komplett veiledning]

Konklusjon: Reisen videre

Evaluering av LLM-er gjennom en menneskelig linse på tvers av disse domenene tegner et mangefasettert bilde: LLM-er går fremover i språklig forståelse og generering, men mangler ofte dybde når det kreves dypere forståelse, kreativitet eller spesialisert kunnskap. Denne innsikten understreker behovet for pågående forskning, utvikling, og viktigst av alt, menneskelig involvering i raffinering av AI. Når vi navigerer i AIs potensial, vil det å omfavne styrkene samtidig som vi erkjenner svakhetene være avgjørende for å oppnå gjennombrudd innen teknologisk AI-forskere, teknologientusiaster, innholdsmoderatorer, markedsførere, lærere, programmerere og matematikere.

End-to-end-løsninger for din LLM-utvikling (datagenerering, eksperimentering, evaluering, overvåking) – Be om en demo