Rilevamento di ammaccature sui veicoli con la visione artificiale

Progetto di visione artificiale sviluppato da Soamee per un cliente industriale, oggi in produzione su linee di montaggio con macchinari reali. Un accordo di riservatezza ci impedisce di nominare il cliente.

In produzione e demo pubblica

Quello che vedi in questa pagina è una replica: l’abbiamo addestrata e valutata con un dataset pubblico. Schermate, immagini e metriche qui sotto provengono da lì. Il sistema del cliente funziona in produzione su linee di montaggio e, per l’accordo di riservatezza, non possiamo mostrarne nulla.

La precisione dei rilevamenti del progetto è del 92 %, e anche nei test del progetto i riconoscimenti si aggirano intorno al 90 %. I dati si riferiscono al progetto, non alla valutazione pubblica riprodotta nella demo; non indica la quota di ammaccature trovate (recall).

Una configurazione possibile è una stazione di ispezione carrozzerie con trasportatore, telecamere industriali e illuminazione LED controllata. È un esempio di macchinari compatibili, non l’identificazione delle attrezzature del cliente.

Le immagini provengono dal Minor Dent Detection Dataset, pubblicato da M. D. Z. Baig e M. Kamal con licenza CC BY 4.0: 2.241 foto di ammaccature scattate dagli autori in officine, parcheggi e strade, per lo più da grandine.

La sfida

Controllare la carrozzeria di un’auto è un lavoro che si ripete migliaia di volte al giorno: il perito di un’assicurazione, la riconsegna di un’auto a noleggio, la valutazione di un usato. Quasi sempre lo fa una persona guardando l’auto o qualche foto, e le ammaccature piccole sono quelle che sfuggono di più, perché cambiano appena il riflesso della lamiera.

L’obiettivo del sistema è individuare ogni ammaccatura in una foto e segnarla con un riquadro, così chi controlla va dritto ai danni e non ne perde nessuno.

Come l’abbiamo risolto

Rilevatore di oggetti

Siamo partiti da un Faster R-CNN con MobileNetV3, addestrato in origine sul dataset COCO, e lo abbiamo riaddestrato con 1.564 foto di ammaccature. Altre 449 servono a scegliere la versione migliore e la soglia di confidenza. Le 224 foto di test degli autori si usano solo nella valutazione finale.

Più passate per foto

Un’ammaccatura piccola può passare inosservata in una lettura e comparire in un’altra. Per questo ogni foto viene analizzata due volte, così com’è e specchiata, e i riquadri delle due passate vengono fusi. Solo con questo passo, senza riaddestrare, l’AP50 sul test sale da 0,60 a 0,64 e l’F1 da 0,64 a 0,69.

Confronto con la realtà

Nell’ispettore ogni foto ha due segni: tratteggiato, l’ammaccatura segnata dagli autori del dataset; continuo, quella rilevata dal modello, con la sua confidenza. Si vede subito quando indovina, quando gli sfugge qualcosa e quando vede un danno che non c’è. La dashboard è un’applicazione di perizia completa sulle 224 foto di test: un riepilogo con cosa rivedere per primo, l’elenco delle ispezioni con filtri e ricerca, il dettaglio di ogni foto, la curva di prestazione del modello e un’impostazione di sensibilità che ricalcola tutte le schermate. Con sensibilità 0,20 trova il 69,7% delle ammaccature con il 58,6% di precisione; con 0,90, il 34,7% con l’85,7%.

Architettura

Risultati della valutazione pubblica

Valutazione sulle 224 foto di test degli autori, con 346 ammaccature. Un rilevamento conta come corretto se si sovrappone almeno al 50% all’ammaccatura segnata:

La dimensione fa la differenza:

Le ammaccature grandi e medie le trova senza difficoltà. Le piccole, soprattutto quelle da grandine in zone con riflessi, sono il punto debole: ne sfugge una su due. È un problema noto nel rilevamento con due soluzioni chiare: foto con più risoluzione o più vicine al pannello, e un modello più grande addestrato su GPU. Il modello della demo è stato addestrato su un portatile.

Prima di portarlo in un altro ambiente

• Foto del caso d’uso reale: quelle di un perito con lo smartphone non somigliano a quelle di una cabina di ispezione con luce controllata. Il modello si adatta alle foto che vedrà.
• Più tipi di danno: graffi, fari e cristalli rotti, vernice scheggiata. Ognuno richiede i propri esempi etichettati.
• Integrazione: con l’app di perizia, con il sistema di gestione della flotta o con lo strumento che calcola il preventivo di riparazione.

Stack tecnico

Foto: Minor Dent Detection Dataset, M. D. Z. Baig e M. Kamal (2025), doi:10.5281/zenodo.16934368, CC BY 4.0.