Det siste ordtaket om at data er den nye oljen er sant, og akkurat som ditt vanlige drivstoff, blir det vanskelig å få tak i.
Ennå, virkelige data gir næring til enhver organisasjons maskinlæring og AI-initiativer. Det er imidlertid en utfordring å få kvalitetsopplæringsdata for prosjektene deres. Det er fordi bare noen få selskaper kan få tilgang til en datastrøm mens resten lager sin egen. Og disse selvlagde treningsdataene kalt syntetiske data er effektive, rimelige og tilgjengelige.
Men hva er det egentlig syntetiske data? Hvordan kan en bedrift generere disse dataene, overvinne utfordringene og utnytte sine fordeler?
Hva er syntetiske data?
Syntetiske data er datagenererte data som raskt blir et alternativ til data fra den virkelige verden. I stedet for å bli samlet inn fra dokumentasjon fra den virkelige verden, genererer dataalgoritmer syntetiske data.
Syntetiske data er kunstig generert ved hjelp av algoritmer eller datasimuleringer som statistisk eller matematisk gjenspeiler virkelige data.
Syntetiske data, ifølge forskning, har de samme prediktive egenskapene som faktiske data. Den genereres ved å modellere de statistiske mønstrene og egenskapene til data fra den virkelige verden.
Bransjetrender?
Ifølge Gartner forskning, kan syntetiske data være bedre for AI-opplæringsformål. Det blir antydet at syntetiske data noen ganger kan vise seg å være mer fordelaktige enn reelle data samlet inn fra faktiske hendelser, personer eller gjenstander. Denne syntetiske dataeffektiviteten er grunnen dyp læring nevrale nettverksutviklere bruker det i økende grad til å utvikle avanserte AI-modeller.
En rapport om syntetiske data spådde at innen 2030, mesteparten av dataene som ble brukt til maskinlæringsmodell opplæringsformål vil være syntetiske data generert gjennom datasimuleringer, algoritmer, statistiske modeller og mer. Imidlertid utgjør syntetiske data mindre enn 1 % av markedsdataene for øyeblikket, men ved 2024 det forventes å bidra med mer enn 60 % av all data som genereres.
Hvorfor bruke syntetiske data?
Ettersom avanserte AI-applikasjoner utvikles, finner bedrifter det vanskelig å anskaffe store mengder kvalitetsdatasett for opplæring av ML-modeller. Imidlertid hjelper syntetiske data dataforskere og utviklere med å overvinne disse utfordringene og utvikle svært troverdige ML-modeller.
Men hvorfor bruke syntetiske data?
Tiden som trengs til generere syntetiske data er mye mindre enn å innhente data fra virkelige hendelser eller objekter. Bedrifter kan skaffe syntetiske data og utvikle et tilpasset datasett for prosjektet deres raskere enn avhengige datasett i den virkelige verden. Så innen en kortfattet periode kan bedrifter få tak i kommenterte og merkede kvalitetsdata.
Anta for eksempel at du trenger data om hendelser som sjelden oppstår eller de som har svært lite data å gå etter. I så fall er det mulig å generere syntetiske data basert på dataeksempler fra den virkelige verden, spesielt når det kreves data for kantsaker. En annen fordel med å bruke syntetiske data er at det eliminerer personvernhensyn da dataene ikke er basert på noen eksisterende person eller hendelse.
Forsterkede og anonymiserte versus syntetiske data
Syntetiske data må ikke forveksles med utvidede data. Dataforstørrelse er en teknikk utviklere bruker for å legge til et nytt sett med data til et eksisterende datasett. De kan for eksempel gjøre et bilde lysere, beskjære eller rotere.
Anonymiserte data fjerner all personlig identifikasjonsinformasjon i henhold til myndighetenes retningslinjer og standarder. Derfor er anonymiserte data svært avgjørende når man utvikler økonomiske eller helsemessige modeller.
Mens anonymiserte eller utvidede data ikke anses som en del av syntetiske data. Men utviklere kan lage syntetiske data. Ved å kombinere disse to teknikkene, som å blande to bilder av biler, kan du utvikle et helt nytt syntetisk bilde av en bil.
Typer syntetiske data
Utviklere bruker syntetiske data da de lar dem bruke data av høy kvalitet som maskerer personlig konfidensiell informasjon samtidig som de beholder de statistiske kvalitetene til data fra den virkelige verden. Syntetiske data faller generelt inn i tre hovedkategorier:
Fullt syntetisk
Den inneholder ingen informasjon fra de opprinnelige dataene. I stedet bruker et datagenererende dataprogram visse parametere fra de originale dataene, for eksempel funksjonstetthet. Deretter, ved å bruke en slik virkelighetskarakteristikk, genererer den tilfeldig estimerte funksjonstettheter basert på generative metoder, som sikrer fullstendig datapersonvern på bekostning av dataaktualitet.
Delvis syntetisk
Den erstatter visse spesifikke verdier av syntetiske data med virkelige data. I tillegg erstatter delvis syntetiske data visse hull i de originale dataene, og dataforskere bruker modellbaserte metoder for å generere disse dataene.
Hybrid
Den kombinerer både virkelige data og syntetiske data. Denne typen data plukker tilfeldige poster fra det originale datasettet og erstatter dem med syntetiske poster. Det gir fordelene med syntetiske og delvis syntetiske data ved å kombinere datavern med nytte.
Bruke tilfeller for syntetiske data?
Selv om de genereres av en datamaskinalgoritme, representerer syntetiske data reelle data nøyaktig og pålitelig. Dessuten er det mange brukstilfeller for syntetiske data. Imidlertid oppleves bruken akutt som en erstatning for sensitive data, spesielt i ikke-produksjonsmiljøer for opplæring, testing og analyse. Noen av de beste bruksområdene for syntetiske data er:
Kurs
Muligheten for å ha en nøyaktig og pålitelig ML-modell avhenger av dataene den trenes på. Og utviklere er avhengige av syntetiske data når de er i den virkelige verden treningsdata er vanskelig å få tak i. Siden syntetiske data øker verdien av virkelige data og fjerner ikke-prøver (sjeldne hendelser eller mønstre), bidrar det til å øke effektiviteten til AI-modeller.
Testing
Når datadrevet testing er avgjørende for utviklingen og suksessen til ML-modellen, må syntetiske data brukes. Grunnen til at syntetiske data er mye enklere å bruke og raskere å skaffe enn regelbaserte data. Den er også skalerbar, pålitelig og fleksibel.
Analyse
Syntetiske data er fri for skjevheter som vanligvis er tilstede i data fra den virkelige verden. Det gjør syntetiske data til et godt egnet datasett for stresstesting av AI-modeller av sjeldne hendelser. Den analyserer også datamodellens atferd som er mulig.
Fordeler med syntetiske data
Dataforskere leter alltid etter data av høy kvalitet som er pålitelige, balanserte, fri for skjevheter og som representerer identifiserbare mønstre. Noen av fordelene med å bruke syntetiske data inkluderer:
- Syntetiske data er enklere å generere, mindre tidkrevende å kommentere og mer balansert.
- Siden syntetiske data supplerer data fra den virkelige verden, gjør det det enklere å fylle datahull i den virkelige verden
- Den er skalerbar, fleksibel og sikrer beskyttelse av personvern eller personopplysninger.
- Den er fri for dataduplikasjoner, skjevheter og unøyaktigheter.
- Det er tilgang til data knyttet til kantsaker eller sjeldne hendelser.
- Datagenerering er raskere, billigere og mer nøyaktig.
Utfordringer med syntetiske datasett
I likhet med enhver ny datainnsamlingsmetodikk, kommer til og med syntetiske data med utfordringer.
De først Den største utfordringen er at syntetiske data ikke følger med uteliggere. Selv om de er fjernet fra datasett, hjelper disse naturlig forekommende avvikene som finnes i data fra den virkelige verden å trene ML-modellene nøyaktig.
De kvaliteten på syntetiske data kan variere gjennom datasettet. Siden dataene genereres ved hjelp av frø- eller inngangsdata, avhenger syntetisk datakvalitet av kvaliteten på frødata. Hvis det er skjevhet i frødataene, kan du trygt anta at det vil være skjevhet i de endelige dataene.
Menneskelige kommentatorer bør sjekke syntetiske datasett grundig for å sikre nøyaktighet ved å bruke noen kvalitetskontrollmetoder.
Metoder for å generere syntetiske data
En pålitelig modell som kan etterligne autentisk datasett må utvikles for å generere syntetiske data. Deretter, avhengig av datapunktene som finnes i det virkelige datasettet, er det mulig å generere lignende i de syntetiske datasettene.
Å gjøre dette, data forskere gjøre bruk av nevrale nettverk som er i stand til å lage syntetiske datapunkter som ligner på de som finnes i den opprinnelige distribusjonen. Noen av hvordan nevrale nettverk genererer data er:
Variasjonelle autokodere
Variasjonsautokodere eller VAE-er tar opp en original distribusjon, konverterer den til latent distribusjon og transformerer den tilbake til den opprinnelige tilstanden. Denne kodings- og dekodingsprosessen fører til en "rekonstruksjonsfeil". Disse uovervåkede datagenerative modellene er dyktige til å lære den medfødte strukturen til datadistribusjon og utvikle en kompleks modell.
Generative motstandernettverk
I motsetning til variasjonsautokodere, er en uovervåket modell, generative adversarielle nettverk, eller GAN, en overvåket modell som brukes til å utvikle svært realistiske og detaljerte datarepresentasjoner. I denne metoden, to nevrale nettverk er opplært – ett generatornettverk vil generere falske datapunkter, og den andre diskriminatoren vil prøve å identifisere ekte og falske datapunkter.
Etter flere treningsrunder vil generatoren bli flink til å generere fullstendig troverdige og realistiske falske datapunkter som diskriminatoren ikke vil være i stand til å identifisere. GAN fungerer best når du genererer syntetisk ustrukturerte data. Men hvis den ikke er konstruert og trent av eksperter, kan den generere falske datapunkter av begrenset mengde.
Nevralt utstrålingsfelt
Denne syntetiske datagenereringsmetoden brukes når du lager nye visninger av en eksisterende delvis sett 3D-scene. Neural Radiance Field eller NeRF-algoritmen analyserer et sett med bilder, bestemmer fokale datapunkter i dem, og interpolerer og legger til nye synspunkter på bildene. Ved å se på et statisk 3D-bilde som en bevegelig 5D-scene, forutsier det hele innholdet i hver voxel. Ved å være koblet til det nevrale nettverket, fyller NeRF manglende aspekter av bildet i en scene.
Selv om NeRF er svært funksjonell, er den treg å gjengi og trene og kan generere ubrukelige bilder av lav kvalitet.
Så, hvor kan du få syntetiske data?
Så langt har bare noen få svært avanserte leverandører av opplæringsdatasett vært i stand til å levere syntetiske data av høy kvalitet. Du kan få tilgang til åpen kildekode-verktøy som f.eks Syntetisk datahvelv. Men hvis du ønsker å anskaffe et svært pålitelig datasett, Shaip er det rette stedet å gå, siden de tilbyr et bredt spekter av opplæringsdata og merknadstjenester. Takket være deres erfaring og etablerte kvalitetsparametere imøtekommer de dessuten en bred industrivertikal og leverer datasett for flere ML-prosjekter.