Lisensierte tekstdatasett for LLM- og AI-opplæring
Lisensier bruksklare tekstkorpus for LLM-, NLP- og generativ AI-opplæring – samtalebaserte spørsmål og svar, kode, nyheter, kliniske, akademiske og flerspråklige data, tilpasset prosjektet ditt.
Lisensierte tekstdatasett for LLM- og NLP-opplæring
Shaips tekstdatakatalog gir AI-team lisensierbare tekstdatasett for trening, finjustering og evaluering av store språkmodeller (LLM-er) og NLP-systemer. Den dekker åtte kategorier. Hvert datasett er hentet fra materiale fra den virkelige verden og kan tilpasses prosjektet ditt.
Katalogen inneholder datasett med samtalebaserte spørsmål og svar og instruksjoner på engelsk og arabisk, som dekker moderne standardarabisk og saudiske, emiratiske, egyptiske og levantinske dialekter. Den har også kodedatasett på ni programmeringsspråk, hvorav flere med full pull-request- og commit-historikk. For aktuelle hendelsesmodeller og RAG finnes det nyhetsdatasett på engelsk, spansk og arabisk, inkludert et arkiv med 975 000 artikler som dateres tilbake til 1999. Helsevesenets AI-team kan bruke kliniske spørsmål og svar- og kasusdatasett , tilgjengelig som gull- og sølvsett, med avidentifikasjon inkludert.
For forberedende opplæring finnes det råtekst og nettbaserte korpus , inkludert et arabisk korpus på 20 millioner ord. Skannede dokumentkorpus støtter dokumentasjon AI og informasjonsutvinning. Akademisk og forlagstekst dekker tolv naturvitenskapelige og ingeniørfag, og manusbasert underholdningstekst dekker film, TV, animasjon og mikrodramaer.
Hvert datasett leveres med tydelig lisens og kvalitetsvurdering. Eksempler er tilgjengelige, slik at du kan evaluere et datasett før du kjøper. Bla gjennom en kategori nedenfor eller kontakt oss for å diskutere tilpasset tekstdatainnsamling.
Samtalespørsmål og -svar og instruksjonsdatasett
Disse datasettene inneholder menneskeskapte spørsmål-og-svar-par og instruksjonsstil-oppgaver på arabisk og engelsk, som spenner over moderne standardarabisk sammen med saudiske, emiratiske, egyptiske og levantinske dialekter. Domenespesifikke sett dekker STEM, mat og landbruk. De støtter instruksjonsjustering, finjustering og evaluering av språkmodeller der regional dialektdekning og kulturelt forankret kunnskap er viktig.
Kode- og programvarelagerdatasett
Produksjonskodebaser hentet fra ekte, levert programvare på tvers av C#, React, TypeScript, Angular, Java, Go, PHP, Swift og BrightScript. Flere oppføringer inkluderer fullstendig pull-request- og commit-historikk, som viser hvordan koden ble endret under evaluering. De støtter kodefullføring, kodegenerering, kodeforståelse og kodegjennomgangsmodelltrening, med databaser tilgjengelig for evaluering før lisensiering.
Nyhets- og journalistiske tekstdatasett
Profesjonelt forfattede og redigerte nyhetsartikler fra en stor internasjonal nyhetsorganisasjon, tilgjengelig som en regelmessig feed på engelsk, spansk og arabisk, og som et arkivkorpus av 975 000 artikler publisert siden 1999. Hver artikkel har tagger for byline, dato, overskrift, brødtekst og emne. De passer til trening av aktuelle hendelser, generering med utvidet gjenfinning og tidsmessige resonneringsoppgaver.
Kliniske spørsmål og svar og kasusdatasett
Medisinske spørsmål-svar-sett, kliniske kasussammendrag og medisinske artikler i fulltekst for helsefokusert modelltrening og evaluering. Gull- og sølvdatasett er tilgjengelige, førstnevnte utarbeidet til en høyere vurderingsstandard for benchmarking. Der kildemateriale inneholder personlig identifiserbar eller beskyttet helseinformasjon, er redigering, avidentifisering og maskering inkludert i engasjementet.
Råtekst og nettbasert korpus
Store mengder råtekst, prompt- og tekst-til-tale-skriptkorpus som spenner over moderne standardarabisk og regionale dialekter, inkludert et råkorpus på 20 millioner ord. De støtter forhåndstrening av språkmodeller og utvidelse av vokabular og dialektdekning i modeller som håndterer MSA godt, men yter dårlig på talte regionale varianter.
Dokument- og skannet tekstkorpus
Ekte skannede dokumenter og strukturerte skjemaer levert som PDF-er, i autentiske layouter og skannekvalitet i stedet for syntetiske gjengivelser. De støtter dokument-AI, OCR-tilstøtende naturlig språkbehandling og informasjonsutvinning, spesielt for forståelse av nøkkelverdier og tabellariske dokumenter der layout har like mye betydning som selve teksten.
Akademiske og utgivertekstdatasett
Fulltekstbøker og tidsskriftartikler lisensiert fra et akademisk forlag og levert via API, som dekker tolv fagområder innen fysikk og ingeniørfag – astronomi, biomedisin, sivilvitenskap, elektro og elektronikk, energi, industri, materialvitenskap, mekanikk, nanoteknologi, fysikk, polymervitenskap og sikkerhetsstyring. De passer vitenskapelig og teknisk forutdanning og gjenfinning fremfor fagfellevurdert kildemateriale.
Manusbasert underholdning og narrativ tekst
Produksjonsmanus, transkripsjoner og narrativ tekst hentet fra en stor katalog med manusbasert underholdning som spenner over spillefilmer, TV, animasjon og vertikale mikrodramaer, på tvers av sjangre som drama, komedie, science fiction, western, action, mysterier, romantikk, thriller og tro. De støtter generering av narrativ og dialog, modellering av manusformat og tilpasning av manus til scene.
Ofte stilte spørsmål (FAQ)
1. Hva er tekstdatasett for AI-opplæring?
Tekstdatasett for AI-opplæring er kuraterte samlinger av skriftspråk, som spørsmål-og-svar-par, instruksjoner, artikler, kode, kliniske journaler, bøker og manus, som brukes til å forhåndstrene, finjustere og evaluere store språkmodeller (LLM-er) og NLP-systemer. Shaips tekstdatakatalog tilbyr lisensierbare datasett på tvers av åtte kategorier, hver hentet fra materiale fra den virkelige verden.
2. Hvilke typer tekstdatasett tilbyr Shaip?
Katalogen dekker åtte kategorier: datasett med samtalebaserte spørsmål og svar og instruksjoner, datasett med kode og programvare, nyhets- og journalistisk tekst, datasett med kliniske spørsmål og svar og kasus, råtekst og nettbaserte korpus, skannede dokumentkorpus, akademisk og forlagstekst, og manusbasert underholdnings- og fortellende tekst.
3. Hvilke språk og dialekter er dekket?
Datasett er tilgjengelige på engelsk, arabisk og spansk. Arabisk dekning inkluderer moderne standardarabisk sammen med saudiske, emiratiske, egyptiske og levantinske dialekter, noe som hjelper modeller som håndterer MSA godt, men sliter med talte regionale varianter.
4. Hvilke brukstilfeller for AI støtter disse datasettene?
Vanlige brukstilfeller inkluderer forhåndstrening av LLM, instruksjonsjustering og finjustering, modellering og benchmarking, hentingsutvidet generering (RAG), kodefullføring og kodegjennomgang, AI i helsevesenet, dokument-AI og informasjonsutvinning, og generering av dialog og manus.
5. Kan jeg evaluere et datasett før jeg lisensierer det?
Ja. Prøver eller tilgang til evaluering kan avtales før du lisensierer et datasett, slik at teamet ditt kan sjekke samsvar, format og kvalitet. Kontakt oss med ditt brukstilfelle for å be om et utvalg fra den aktuelle kategorien.
6. Hvordan håndteres sensitive data som PII og PHI?
Der kildemateriale inneholder personlig identifiserbar eller beskyttet helseinformasjon, som med kliniske data, er redigering, avidentifikasjon og maskering inkludert i oppdraget slik at dataene oppfyller dine personvern- og samsvarskrav.
7. Hva er forskjellen mellom gull- og sølvdatasett?
Gyldne datasett utarbeides etter en høyere vurderingsstandard og er best egnet for benchmarking og evaluering. Sølvdatasett går gjennom standardvurdering og er godt egnet for større opplæring der volum er viktigere.
8. Kan datasettene tilpasses eller utvides?
Ja. Datasett kan tilpasses prosjektet ditt etter språk, domene, volum eller format. Hvis katalogen ikke dekker det du trenger, kan Shaip samle inn og kommentere tilpassede tekstdata i henhold til dine spesifikasjoner.
9. Hvilke lisensalternativer er tilgjengelige?
Lisensiering er begrenset til hvert engasjement basert på datasettet, volum, tiltenkt bruk og varighet. Noen datasett, for eksempel nyhetsinnhold, er tilgjengelige både som en gjentakende feed og som et engangsarkivkorpus.
10. Hvordan leveres datasettene?
Leveringen avhenger av datasettet. Alternativene inkluderer strukturerte filer, PDF-er for skannede dokumenter, regelmessige feeder for nyheter og API-levering for akademisk og utgiverinnhold. Leveringsformatet kan tilpasses opplæringsprosessen din.
11. Hvor mye koster tekstdatasett?
Prisen avhenger av kategori, volum, eksklusivitet og lisensvilkår. Del dine krav med teamet vårt for et tilbud skreddersydd for prosjektet ditt.
12. Hvordan kommer jeg i gang?
Bla gjennom kategorien som samsvarer med ditt bruksområde, og kontakt deretter Shaip med dine krav. Teamet vårt vil dele datasettdetaljer, ordne prøver og definere en lisens for prosjektet ditt.
