Annotasjon for avgrensningsboks for fruktdeteksjon i jordbruk
Hvordan Shaip leverte annoteringer med tett avgrensningsboks på tvers av alle synlige epler i frukthagebilder – som dekker hele vekstsyklusen, flerperspektivfangst og 3-lags tilstandsattributter – bygget som et produksjonsgradsdatasett for avlingsestimering, robothøsting og AI for avlingshelse.
Prosjektoversikt
Etter hvert som presisjonslandbruk beveger seg mot AI-drevet høsting og avlingsprediksjon, trengte klienten en annotasjonspipeline som var i stand til å oppdage individuelle frukter i stor skala på tvers av tette, naturlig rotete frukthagebilder – som dekket alle vekststadier fra blomstring til høsting.
Shaip bygde den komplette annoteringsprosessen som dekker tett plassering av avgrensningsbokser per frukt, tagging av flere attributttilstander, håndtering av bilder i flere perspektiver og to-lags kvalitetssikring – og produserte modellklare datasett for presisjonslandbruk med kunstig intelligens i stor skala.
Nøkkeltall
Nøyaktighetsterskel
99%
Vekststadier
Full syklus
Attributtlag
3
Perspektiver
Bakken + Drone
Utfordringer
- Kommenterer hvert synlige eple i tette frukthagebilder – hundrevis per bilde
- Tildekking hele vekstsyklusen — blomst, liten grønn frukt, fullmodne epler
- Håndtering flerperspektivbilder — bakkenivå, drone over hodet, nærbilde av en gren
- skille frukt fra bladverket når farger blandes i tidlige vekststadier
- Administrerende okkludert, delvis og blendingspåvirket frukt uten at det går på bekostning av nøyaktigheten
Oppløsning
Plassering av avgrensningsboks per frukt
Annotatorene tegnet tette avgrensningsbokser rundt hvert synlige eple i hvert bilde, uavhengig av størrelse, fargestadium eller plassering i bildet. Selv i tette klaser der dusinvis av frukter overlappet hverandre, ble hver enkelt merket individuelt for å støtte nedstrøms frukttelling og avlingsestimeringsmodeller.
Full vekstsyklusdekning
Annotasjonen dekket epler på tvers av alle vekststadier – fra tidlig blomstring og små grønne frukter til fullmodne røde og gule epler. Denne fullsyklusdekningen sikrer at den trente modellen kan oppdage frukt når som helst i landbrukssyklusen, ikke bare ved innhøsting.
Flerperspektivbilder
Bilder tatt fra frukthager på bakkenivå, dronebilder over hodet og nærbilder av greiner ble inkludert, noe som gjorde datasettet svært mangfoldig og representativt for distribusjon i den virkelige verden. Hvert perspektiv mottok perspektivspesifikke retningslinjer for annotering.
3-lags attributtklassifisering
Hvert annoterte eple ble videre klassifisert med attributter som dekker modenhetsstadium (umoden, halvmoden, fullmoden), synlighetsstatus (fullt synlig, delvis tildekket, sterkt tildekket) og fruktens tilstand (sunn, skadet, syk). Denne flerattributttilnærmingen gjør det mulig for den trente modellen å vurdere innhøstingsberedskap og avlingshelse i tillegg til fruktdeteksjon.
Håndtering av kantsaker
Annotatorene fulgte strenge retningslinjer for epler delvis utenfor bildet, epler på bakken, reflekterende eller blanke fruktoverflater som forårsaker gjenskinnsartefakter, og fjerne små frukter som krever identifikasjon på zoomnivå. Lysvariabilitet – spesielt skygger fra trekronene – ble håndtert gjennom perspektivbevisste annoteringsregler.
Prosjektomfang
| Datasettype | Target | Vekststadier | Perspektiver | attributter | Nøyaktighet |
|---|---|---|---|---|---|
| Deteksjon av landbruksfrukt | Epler | Full syklus (blomstring → moden) | Bakken + drone + nærbilde | Modenhet, synlighet, tilstand | 99% |
Resultater
- Etablert en rørledning for avgrensningsboks for tett frukthage i stand til å oppdage alle synlige frukter
- standardisert full dekning av vekstsyklusannotasjoner fra blomstring til innhøsting
- Levert 3-lags attributtklassifisering for modenhet, synlighet og tilstand
- Opprettholdt 99 % nøyaktighetsport via to-lags QC på tvers av bilder fra flere perspektiver
- Aktiverte klientens avlingsestimering, robothøsting, avlingshelse og droneovervåking AI
Alt i alt bidro Shaip til å transformere et krav for fruktdeteksjon i frukthageskala til en strukturert, produksjonsklar annoteringsprosess – en som er i stand til å støtte presisjonslandbruk, robothøsting, avlingsprediksjon og AI-overvåking av avlingers helse på tvers av ulike frukthagemiljøer og vekstsykluser.
Shaip kommenterte epler vi ikke engang kunne skille fra bladene i noen av bildene. Vekststadiet og tilstandsmerkingen deres ble direkte brukt i våre modeller for avlingsestimering og innhøstingsplanlegging.
