Forbedre forståelsen av søkeord med menneskelig annotering
Utnytter menneskelig vurderingsevne og strukturert taksonomi for å håndtere tvetydige kanttilfeller konsekvent og forbedre søkerelevansen for et ledende Polen-basert e-handelskonglomerat.
Prosjektoversikt
Kunden, en ledende e-handelsbedrift med base i Polen, mottar millioner av søk daglig. Mange av disse søkene er tvetydige , inneholder feilstavinger eller refererer til flere produktkategorier , noe som skaper utfordringer for automatiserte søkemotorer.
For å forbedre søkenøyaktigheten og kundeopplevelsen utviklet Shaip et strukturert annoteringsrammeverk inspirert av Baymards studie. Søkene ble systematisk klassifisert i 11 kategorier (f.eks. produktkategori, tema, spesifikk attributt, eksakt, selger, symptom, ikke-produkt osv.) med prioritetsregler for å sikre konsistent kategorisering.
Nøkkeltall
Over 50 000 spørringer kommentert
på tvers av flere kategorier
11 annotasjonsklasser
med klare definisjoner og prioriteringsregler
3-trinns arbeidsflyt
Annotasjon ➔ Spørsmål og svar ➔ SMB-voldgift
Prosjektomfang
Prosjektet fokuserte på å bygge en omfattende taksonomi for å fange opp hele spekteret av brukersøkeatferd på en storstilt markedsplassplattform. Omfanget inkluderte:
- Utvikling av en taksonomi med 11 kategorier med klare definisjoner og et prioritetshierarki for å håndtere tilfeller der spørringer kan passe inn i mer enn én klasse.
- Annotering av tusenvis av ekte spørringer på tvers av både produkt- og ikke-produktdomener for å trene og kalibrere klassifiseringssystemet.
- Løse tvetydige spørsmål ved å eskalere til fageksperter (SMB-er), og sikre konsistens i hvordan kantsaker ble håndtert.
- Gi kommenterte eksempler og begrunnelser for QA-kalibrering, og opprette et treningssett som fremtidige annotatorer kan stole på som referanse.
Eksempel på merknader inkludert:
- De dietrich ELENSIO ➔ Eksakt
- E 91 ➔ Vanskelig å si
- tezfiles ➔ Kjøpmann
- Subaru BRZ Toyota GT86 ➔ Ikke-produkt
- okulary BHP ➔ Produktkategori
- Stawu skokowego ➔ Symptom
Utfordringer
Prosjektet måtte overvinne flere problemer med datakompleksitet som er typiske i søkemiljøer for e-handel:
tvetydighet
Spørsmål som «E 91» kan tilsvare svært forskjellige produkter (en bilmodell, en sikringsholder, et kapselavtrykk), noe som gjør tolkningen svært usikker.
Skrivefeil og varianter
Feilstavelser eller forkortelser, som «lampa uf zestaw», krevde kontekstuell menneskelig tolkning for å forstås som «lampa UV zestaw».
Overlappende kategorier
Spørringer samsvarte ofte med flere klasser (f.eks. eksakt vs. kompatibel vs. spesifikk attributt), noe som krever prioritetsregler for å sikre konsistens.
Ugyldige inndata
Seriekoder eller identifikatorer uten produktsamsvar måtte merkes som «Ugyldig frase» i stedet for å bli feilklassifisert.
skalerbarhet
Konsekvent bruk av nyanserte klassifiseringsregler på tvers av titusenvis av spørringer krevde sterk styring av kvalitetssikring og annotering.
Oppløsning
For å håndtere disse utfordringene ble det introdusert et strukturert annoteringsrammeverk som balanserer automatisering med menneskelig tilsyn:
Retningslinjer for kommentarer
Detaljerte definisjoner, eksempler og instruksjoner ble laget for å hjelpe kommentatorer med å klassifisere konsekvent, selv i komplekse scenarier.
Presedensregler
Et hierarki ble etablert (f.eks. Kompatibel > Eksakt > Spesifikk attributt) slik at overlappende saker ble løst systematisk.
Flernivå QA-prosess
- Innledende annotering av trente annotatorer.
- Sekundær gjennomgang av QA-spesialister.
- Eskalering til SMB-er for voldgift i marginale saker eller uenigheter
Praktisk anvendelse av retningslinjer med spørsmål fra den virkelige verden
- 4008146044786 ➔ Ugyldig frase
- miraculum królika ➔ Tematisk attributt
- zcd galaktisk grå ➔ Kompatibel
- owczarek belgisk ➔ tema
Dette sikret samsvar, kvalitet og pålitelighet på tvers av annoteringsprosessen.
Utfallet
Initiativet ga målbare forbedringer i klientens søkeøkosystem:
- 50 000+ søk etter rubrikkannonser med høy presisjon, og danner et robust treningsdatasett for søkeforbedringer.
- Forbedret relevans av søkeresultatene, noe som direkte øker brukertilfredsheten og reduserer frustrasjon fra irrelevante treff.
- Redusert tvetydighet ved systematisk å løse kantsaker gjennom SMB-drevet voldgift og presedensregler.
- Forbedret produktoppdagbarhet, noe som sørget for at brukerne kunne finne varer mer nøyaktig på tvers av kategorier, attributter og temaer.
Totalt sett la prosjektet grunnlaget for en mer intelligent, brukerfokusert søkeopplevelse , noe som hjalp klienten med å opprettholde sitt konkurransefortrinn i e-handelsmarkedet.
Arbeidsflyten for menneskelige annoteringer ga klarhet til komplekse søk. Den strukturerte taksonomien og prioritetsreglene forbedret søkemotorens nøyaktighet betydelig og gjorde brukeropplevelsen mer sømløs.
