Jernbane multimodal LiDAR og 2D-annotering
Hvordan Shaip leverte et av de mest annotasjons- og typemangfoldige prosjektene innen jernbane-AI – ved å kombinere 2D-kamerabilder og 3D LiDAR-punktskyer på tvers av 39+ objektklasser og 8 forskjellige etiketttyper for å drive autonome togoppfattelses- og jernbanesikkerhetssystemer.
Prosjektoversikt
Etter hvert som autonom togoppfatning går mot produksjonsdistribusjon, trengte klienten en storskala, multimodal annotasjonspipeline som var i stand til å merke hele jernbanemiljøet på tvers av både 2D-kamerabilder og 3D LiDAR-punktskydata med konsistent romlig nøyaktighet.
Shaip bygde den komplette multimodale annoteringspipelinen som dekker 8 forskjellige etikettyper, 39+ objektklasser og 25+ signaltilstandsklassifiseringer på tvers av H/V- og Ks-signalsystemene – og leverte kryssvaliderte, modellklare datasett for jernbaneautonomi og sikkerhets-AI.
Nøkkelstatus
Objektklasser
39 +
Merknadstyper
8
Signaltilstander
25 +
Modaliteter
2D + 3D
Utfordringer
- Håndtering 2D + 3D multimodal merknad med kryssvalidert romlig konsistens
- Kommenterer 39+ objektklasser som omfatter mennesker, kjøretøy, infrastruktur, dyr og sikkerhetsobjekter
- Opererer på tvers 8 annoteringstyper — 2D/3D-avgrensningsbokser, kuber, polylinjer, polygoner
- Klassifisering 25+ distinkte signaltilstander på tvers av de tyske signalsystemene H/V og Ks
- påføring folkemengdeterskellogikk og kontinuerlig sporannotering under vognobjekter
Oppløsning
Multimodal annotasjonsrørledning
Shaip konfigurerte en parallel 2D-kamera- og 3D-LiDAR-annotasjonspipeline med kryssvalidering mellom modaliteter. Annotatorer jobbet samtidig med begge datakildene for å sikre romlig konsistens, med okklusjonstilstander vurdert utelukkende fra punktskydata i stedet for 2D-bilder.
39+ klasseontologi
Annotasjonsontologien dekket personer (med aldersgruppe, mobilitetshjelpemiddel, funksjonell rolle, kroppsholdning, bæring av gjenstander og distraksjonsattributter), kjøretøy (sykler, motorsykler, veikjøretøy etter underkategori), 18 dyrearter og jernbaneinfrastruktur, inkludert spor, sporveksler, kontaktledningsmaster, signaler, bufferstopp, signalbroer, slepesko og reflekterende testobjekter.
Klassifisering av signaltilstand
Signalene ble annotert med detaljert aspektklassifisering på tvers av H/V- og K-signalsystemer, som dekket over 25 forskjellige signaltilstander. Annotatorene identifiserte eksakte signalaspekter fra både forfra og bakfra, og skilte mellom lys- og formsignaler på tvers av flere tyske jernbanesignalsystemer.
Mengdeterskel og gruppelogikk
Mengdeannotasjoner krevde en minimumsterskel på 6 overlappende personer før man byttet fra individuell til gruppeannotasjon. Grupper av sykler og grupper av dyr fulgte samme terskellogikk med konsistente positur- og artsregler innenfor gruppene. Dette sikret at scener med høy tetthet ble merket med driftseffektivitet uten at det gikk på bekostning av detaljer.
Kontinuerlig sporannotering
Sporene ble annotert kontinuerlig, selv under tog- eller vognobjekter, med sporvekselområder og bufferstopp kartlagt nøyaktig. Dette kontinuitetslaget er viktig for planlegging av jernbanespor nedstrøms og modeller for hindringsdeteksjon.
Prosjektomfang
| Datasettype | Modaliteter | Klasser | Etiketttyper | Signaltilstander | Systemer |
|---|---|---|---|---|---|
| Oppfatning av jernbanemiljøet | 2D + 3D LiDAR | 39 + | 8 (bokser, kuber, polylinjer, polygoner) | 25 + | H/V, Ks |
Resultater
- Etablert en multimodal 2D + 3D LiDAR-annotasjonspipeline for autonom togoppfatning
- standardisert 39+ objektklasseontologi som omfatter mennesker, kjøretøy, dyr og jernbaneinfrastruktur
- Levert 25+ signaltilstandsklassifiseringer på tvers av H/V- og Ks-signalsystemer i Tyskland
- implementert folkemengdeterskellogikk og kontinuerlig sporannotering under vogner
- Aktiverte klientens autonom tog-, sikkerhets- og hindringsdeteksjons-AI veikart
Alt i alt bidro Shaip til å transformere et krav om multimodal jernbanepersepsjon til en strukturert, produksjonsklar annotasjonspipeline – en som er i stand til å støtte autonom togdrift, jernbanesikkerhets-AI og signalgjenkjenningssystemer med kryssvalidert 2D-3D romlig konsistens i skala.
Shaip håndterte annoteringskompleksitet som de fleste leverandører ikke vil røre. 39+ klasser, 8 etikettyper, 25+ signaltilstander, 2D + 3D kryssvalidering – og de leverte det som en enkelt koordinert pipeline. Våre skinneoppfatningsmodeller trente raskere som et resultat.
