Suksessen til enhver AI-modell avhenger av kvaliteten på dataene som mates inn i systemet. ML-systemer kjører på store mengder data, men de kan ikke forventes å fungere med bare hvilken som helst data. Det må være høykvalitets AI-treningsdata. Hvis utdataene fra AI-modellen må være autentiske og nøyaktige, bør dataene for opplæring av systemet være av høy standard.
Dataene som AI- og ML-modellene er trent på, bør være av førsteklasses kvalitet for at virksomheten skal kunne hente meningsfull og relevant innsikt fra dem. Likevel er det en utfordring for selskaper å skaffe store mengder heterogene data.
Bedrifter bør stole på leverandører som Shaip, som implementerer strenge datakvalitetsstyringstiltak i sine prosesser for å møte denne utfordringen. I tillegg, hos Shaip, gjennomfører vi også den kontinuerlige transformasjonen av systemene våre for å møte de utviklende utfordringene.
Introduksjon til Shaips datakvalitetsstyring
Hos Shaip forstår vi betydningen av pålitelige treningsdata og dens del i utviklingen av ML-modeller og resultatet av AI-baserte løsninger. I tillegg til å screene arbeiderne våre for ferdigheter, er vi like fokusert på å utvikle deres kunnskapsbase og personlig utvikling.
Vi følger strenge retningslinjer og standard driftsprosedyrer implementert på alle nivåer av prosessen slik at opplæringsdataene våre oppfyller kvalitetsstandarden.
Quality Management
Arbeidsflyten vår for kvalitetsstyring har vært avgjørende for å levere maskinlæring og AI-modeller. Med feedback-in-loop er vår kvalitetsstyringsmodell en vitenskapelig testet metode som har vært med på å lykkes med å levere flere prosjekter for våre kunder. Vår prosessflyt for kvalitetsrevisjon fortsetter på følgende måte.
- Gjennomgang av kontrakten
- Lag en revisjonssjekkliste
- Dokumentkilde
- Sourcing 2-lags revisjon
- Moderering av kommentartekst
- Annotering 2-lags revisjon
- Levering av arbeid
- Tilbakemelding fra kunder
Crowdsource Worker Selection og Onboarding
Vår strenge medarbeidervalg og ombordstigningsprosess skiller oss fra resten av konkurrentene. Vi gjennomfører en presis utvelgelsesprosess for å få med kun de mest dyktige annotatorene basert på kvalitetssjekklisten. Vi vurderer:
- Tidligere erfaring som tekstmoderator for å sikre at deres ferdigheter og erfaring samsvarer med våre krav.
- Ytelse i tidligere prosjekter for å sikre at deres produktivitet, kvalitet og produksjon var på nivå med prosjektbehovene.
- Omfattende domenekunnskap er en forutsetning for å velge en bestemt arbeider for en spesifikk vertikal.
Utvelgelsesprosessen vår slutter ikke her. Vi utsetter arbeiderne for en prøvekommentartest for å verifisere deres kvalifikasjoner og ytelse. Basert på prestasjonen i rettssaken, uenighetsanalyse og spørsmål og svar, vil de bli valgt.
Når arbeiderne er valgt, vil de gjennomgå en grundig opplæringsøkt ved å bruke Project SOW, retningslinjer, prøvetakingsmetoder, veiledninger og mer avhengig av prosjektets behov.
Sjekkliste for datainnsamling
Dobbeltlags kvalitetskontroller er på plass for å sikre at kun treningsdata av høy kvalitet sendes videre til neste lag.
Nivå 1: Kvalitetssikringssjekk
Shaips QA-team foretar nivå 1 kvalitetssjekk for datainnsamling. De sjekker alle dokumentene, og de blir raskt validert mot de nødvendige parameterne.
Nivå 2: Kritisk kvalitetsanalysesjekk
CQA-teamet bestående av legitimerte, erfarne og kvalifiserte ressurser vil evaluere de resterende 20 % av de retrospektive prøvene.
Noen av sjekklisteelementene for datakildekvalitet inkluderer,
- Er URL-kilden autentisk, og tillater den nettskraping av data?
- Er det mangfold i de kortlistede nettadressene slik at skjevheter kan unngås?
- Er innholdet validert for relevans?
- Inkluderer innholdet modereringskategorier?
- Dekkes prioriterte domener?
- Er dokumenttypen hentet med tanke på distribusjon av dokumenttype?
- Inneholder hver moderasjonsklasse minimumsvolumplate?
- Følges Feedback-in-loop-prosessen?
Sjekkliste for datakommentarer
I likhet med datainnsamlingen har vi også to lag med kvalitetssjekkliste for datakommentarer.
Nivå 1: Kvalitetssikringssjekk
Denne prosessen sikrer at 100 % av dokumentene er korrekt validert mot kvalitetsparametrene satt av teamet og klienten.
Nivå 2: Kritisk kvalitetsanalysesjekk
Denne prosessen sikrer at 15 til 20 % av de retrospektive prøvene også er validert og kvalitetssikret. Dette trinnet er utført av det kvalifiserte og erfarne CQA-teamet med minimum 10 års erfaring innen kvalitetsstyring og Black Belt-holdere.
CQA-teamet sikrer,- Konsistens i tekstmoderering av brukere
- Sjekke om de riktige frasene og moderasjonsklassene brukes for hvert dokument
- Sjekker metadataene
Vi gir også daglige tilbakemeldinger basert på Pareto-analyse for å sikre at ytelsen deres er på nivå med kundens krav.
Vi legger inn et nytt lag med ytelsesanalyse for å fokusere på annotatorer med minst ytelse ved bruk av Bottom Quartile Management. Før endelig levering sørger vi også for at prøver av hygienekontroller er gjennomført.
Parameterterskel
Avhengig av prosjektretningslinjene og kundens krav, har vi en parameterterskel på 90 til 95 %. Teamet vårt er utstyrt og erfarent til å utføre noen av følgende metoder for å sikre høyere kvalitetsstyringsstandarder.
- F1 Score eller F Measure – for å bedømme ytelsen til to klassifiserere – 2* ((Presisjon * Recall)/ (Precision + Recall))
- DPO eller Defects Per Opportunity-metoden beregnes som et forhold mellom defekter delt på mulighetene.
Eksempel på revisjonssjekkliste
Shaips prøverevisjonssjekkliste er en komplett tilpasningsprosedyre som kan skreddersys for å møte kravene til prosjektet og kunden. Den kan endres basert på tilbakemeldingene fra klienten og avsluttes etter en grundig diskusjon.
- Språksjekk
- URL og domenesjekk
- Mangfoldssjekk
- Volum per språk- og moderasjonsklasse
- Målrettede søkeord
- Dokumenttype og relevans
- Sjekk giftig setning
- Metadatasjekk
- Konsistenssjekk
- Merknadsklassesjekk
- Eventuelle andre obligatoriske kontroller i henhold til kundens preferanser
CQA-teamet sikrer,Vi tar strenge tiltak for å opprettholde datakvalitetsstandarder fordi vi forstår at alle AI-baserte modeller er datadrevne. Og å ha treningsdata av høy kvalitet er en forutsetning for alle AI- og maskinlæringsmodeller. Vi forstår viktigheten av kvalitetstreningsdata og dens betydning for ytelsen og suksessen til AI-modellene dine.