Deteção de mossas em veículos com visão artificial

Projeto de visão por computador desenvolvido pela Soamee para um cliente industrial, hoje em produção em linhas de montagem com maquinaria real. Um acordo de confidencialidade impede-nos de nomear o cliente.

Em produção e demo pública

O que vê nesta página é uma réplica: foi treinada e avaliada com um dataset público. Os ecrãs, imagens e métricas abaixo vêm daí. O sistema do cliente funciona em produção em linhas de montagem e, pelo acordo de confidencialidade, não podemos mostrar nada dele.

A precisão das deteções do projeto é de 92 %, e nos testes do projeto os reconhecimentos também rondam os 90 %. Estes valores referem-se ao projeto, não à avaliação pública reproduzida na demo; não indica a proporção de mossas encontradas (recall).

Uma configuração possível é uma estação de inspeção de carroçarias com transportador, câmaras industriais e iluminação LED controlada. É um exemplo de maquinaria compatível, não a identificação dos equipamentos do cliente.

As imagens são do Minor Dent Detection Dataset, publicado por M. D. Z. Baig e M. Kamal com licença CC BY 4.0: 2.241 fotografias de mossas tiradas pelos autores em oficinas, parques de estacionamento e ruas, na maioria de granizo.

O desafio

Rever a carroçaria de um carro é uma tarefa que se repete milhares de vezes por dia: o perito de uma seguradora, a devolução de um carro de aluguer, a avaliação de um usado. Quase sempre é uma pessoa a olhar para o carro ou para umas fotografias, e as mossas pequenas são as que mais escapam, porque mal alteram o reflexo da chapa.

O objetivo do sistema é localizar cada mossa numa fotografia e marcá-la com uma caixa, para que quem revê vá direto aos danos e não lhe escape nenhum.

Como o resolvemos

Detetor de objetos

Partimos de um Faster R-CNN com MobileNetV3, treinado de origem no conjunto COCO, e ajustámo-lo com 1.564 fotografias de mossas. Outras 449 servem para escolher a melhor versão e o limiar de confiança. As 224 fotografias de teste dos autores só se usam na avaliação final.

Várias passagens por fotografia

Uma mossa pequena pode passar despercebida numa leitura e aparecer noutra. Por isso cada fotografia é analisada duas vezes, tal como está e invertida, e as caixas das duas passagens são fundidas. Só com este passo, sem retreinar, o AP50 em teste sobe de 0,60 para 0,64 e o F1 de 0,64 para 0,69.

Comparação com a realidade

No inspetor cada fotografia tem duas marcas: a tracejado, a mossa que os autores do dataset marcaram; a cheio, a que o modelo detetou, com a sua confiança. Vê-se num relance quando acerta, quando lhe escapa algo e quando vê um dano que não existe. O dashboard é uma aplicação de peritagem completa sobre as 224 fotografias de teste: um resumo com o que rever primeiro, a lista de inspeções com filtros e pesquisa, o detalhe de cada fotografia, a curva de desempenho do modelo e um ajuste de sensibilidade que recalcula todos os ecrãs. Com sensibilidade 0,20 encontra 69,7% das mossas com 58,6% de acerto; com 0,90, 34,7% com 85,7% de acerto.

Arquitetura

Resultados da avaliação pública

Avaliação sobre as 224 fotografias de teste dos autores, com 346 mossas. Uma deteção conta como acerto se se sobrepuser pelo menos 50% à mossa marcada:

O tamanho faz a diferença:

As mossas grandes e médias encontra-as com facilidade. As pequenas, sobretudo as de granizo em zonas com reflexos, são o ponto fraco: escapa-lhe uma em cada duas. É um problema conhecido em deteção com duas soluções claras: fotografias com mais resolução ou mais perto do painel, e um modelo maior treinado em GPU. Este modelo da demo foi treinado num portátil.

Antes de o levar para outro ambiente

• Fotografias do caso de uso real: as de um perito com o telemóvel não se parecem com as de uma cabine de inspeção com iluminação controlada. O modelo ajusta-se às fotografias que vai ver.
• Mais tipos de dano: riscos, faróis e vidros partidos, tinta lascada. Cada um precisa dos seus exemplos etiquetados.
• Integração: com a app de peritagem, com o sistema de gestão de frota ou com a ferramenta que calcula o orçamento de reparação.

Stack técnico

Fotografias: Minor Dent Detection Dataset, M. D. Z. Baig e M. Kamal (2025), doi:10.5281/zenodo.16934368, CC BY 4.0.