O viés oculto do dispositivo de captura em um benchmark de OCR: o que o VeriCam mede entre dispositivos

Um modelo pré-treinado PARSeq-tiny no artigo VeriCam atingiu 95,98% de precisão em placas inteiras em sua avaliação intra-dispositivo LPLCv2. Em placas “Perfeitas”, atingiu 99,01%; em placas “Ilegíveis”, 68,18%.

Na avaliação cruzada entre dispositivos do artigo, onde os dispositivos de captura de teste não estavam presentes durante o treinamento, esses números mudaram. A precisão geral das placas foi de 94,26%, enquanto o desempenho em placas Ilegíveis foi de 50,76%: uma diferença de 17,42 pontos percentuais em relação ao resultado intra-dispositivo.

Esses experimentos não são um teste de implantação em produção, e o artigo não isola as pistas visuais precisas responsáveis pela lacuna. Mas eles apoiam o aviso central dos autores: a contaminação do dispositivo de captura pode distorcer a avaliação em conjuntos de dados de OCR de vigilância de tráfego.

Um artigo da Universidade Federal do Paraná (UFPR) e da Polícia Militar do Paraná, intitulado VeriCam: A Verification Baseline for the Classification of Unknown Data (arXiv:2608.31107, aceito no SIBGRAPI WIP 2026), estuda essa questão diretamente. Os autores Lucas Wojcik, Gabriel E. Lima, Sergio M. Silva Jr., Eduil Nascimento Jr. e David Menotti argumentam que o LPLCv2 carrega um viés inerente de dispositivo de captura que representa um desafio de generalização cruzada entre dispositivos para tarefas de reconhecimento de placas de licença a jusante, incluindo OCR.

O pipeline proposto, VeriCam, treina um modelo de verificação para comparar pares de imagens, depois constrói um grafo e agrupa classes de dispositivos de captura desconhecidos sem exigir rótulos de classe no momento do teste. No cenário cruzado entre dispositivos, o artigo relata uma pontuação F1 de 93,45 para verificação. A Tabela V relata uma V-Measure de 80,14 para sua configuração de agrupamento Leiden sem rótulos conhecidos.

Viés do dispositivo de captura em conjuntos de dados de vigilância

O artigo se baseia em trabalhos anteriores de Laroca et al., que descobriram que uma CNN muito pequena poderia identificar de qual conjunto de dados uma imagem de tráfego provenha em uma tarefa de classificação padrão. O VeriCam examina um problema relacionado dentro de um único conjunto de dados: contaminação por dispositivo de captura entre partições.

Quando uma divisão no nível de imagem coloca imagens do mesmo dispositivo de captura nos conjuntos de treinamento, validação e teste, a avaliação testa imagens não vistas de dispositivos conhecidos. Uma divisão no nível de dispositivo, por outro lado, exclui completamente os dispositivos de captura, fazendo com que as imagens de validação e teste provenham de dispositivos desconhecidos.

Os autores utilizam o LPLCv2, um conjunto de dados de vigilância de tráfego com 37.099 imagens. Dessas, 34.760 são anotadas com IDs de câmera. Após reter os dispositivos associados a pelo menos dez imagens, seu conjunto de dados de trabalho contém 33.668 imagens distribuídas em 612 dispositivos.

O conjunto de dados é substancialmente desbalanceado:

• Concentração: Cerca de 50% do conjunto de dados de trabalho, ou 16.644 imagens, provém de 15% de suas classes: 90 dispositivos.
• Cauda longa: 158 dispositivos têm entre 10 e 19 imagens cada, enquanto 62 dispositivos têm 100 ou mais imagens.

O objetivo do artigo é identificar grupos de dispositivos de captura dinamicamente, permitindo um benchmark mais disjointo em relação aos dispositivos sem exigir rótulos de dispositivo de captura no momento da inferência.

Por que a classificação com rótulos fixos e a detecção de OOD são insuficientes

O artigo formula seu problema como classificação quando o número de classes alvo é desconhecido e não fixo antecipadamente.

1. A classificação com rótulos fixos possui um espaço de saída fixo: Classificadores padrão mapeiam entradas para um número predefinido de classes. Eles não atribuem diretamente amostras a classes anteriormente desconhecidas.

2. A detecção de OOD não descobre classes desconhecidas: Os métodos de OOD podem estender um problema de (N) classes para um cenário de (N+1) classes, sinalizando amostras fora das classes conhecidas. Mas detectar uma amostra desconhecida é diferente de agrupar múltiplas amostras desconhecidas em suas classes subjacentes.

3. A separação de grão fino permanece difícil: Os autores argumentam que os modelos fundamentais de imagem e texto, bem como híbridos de visão-texto, podem carecer do poder representacional especializado necessário quando classes visualmente semelhantes diferem em detalhes de grão fino.

Outras abordagens zero-shot podem transferir características compartilhadas ou usar protótipos de classe. O VeriCam, em vez disso, reformula a tarefa como verificação par a par local seguida de agrupamento.

Reinterpretando a classificação por meio de verificação

Em vez de solicitar que um modelo selecione uma classe de dispositivo de captura de uma lista fixa, o VeriCam estima se duas imagens pertencem à mesma classe latente.

A abordagem se baseia na aprendizagem de características baseada em verificação utilizada no reconhecimento facial. O VeriCam utiliza um Vision Transformer como descritor de características, estima relações pareadas e transforma essas relações em um grafo.

[ Imagens de Trânsito Não Vistas ]
           │
           ▼
[ Modelo de Verificação ViT-B/16 ]
           │
      (Vetores de Características)
           │
           ▼
[ Similaridade Cosseno Pareada ]
           │
      (Grafo de Afinidade)
           │
           ▼
[ Agrupamento Ingênuo ou Leiden ]
           │
           ▼
[ Classes de Dispositivos de Captura Descobertas ]

A espinha dorsal da aprendizagem de métricas

Os autores treinam uma arquitetura ViT-B/16 do zero na tarefa de verificação, utilizando perda de tripletos (triplet loss) e tripletos de treinamento e validação gerados dinamicamente.

As imagens são redimensionadas para caber em um quadrado de (224 \times 224), preservando a proporção de aspecto, centralizadas e preenchidas com pixels cinza.

O artigo define a distância cosseno entre vetores de características como:

$$\text{CosDist}(V_1, V_2) = 1 - \text{CosSim}(V_1, V_2) = 1 - \frac{V_1 \cdot V_2}{|V_1| |V_2|}$$

A similaridade cosseno varia de (-1) a (1); a correspondente distância cosseno varia de 0 para vetores iguais a 2 para vetores completamente diferentes.

A configuração de treinamento relatada inclui:

• Épocas máximas: 1.000.
• Lotes por época: 120.
• Parada antecipada: Paciência de 40 épocas, monitorada pela precisão de validação.
• Otimizador: Adam.
• Taxa de aprendizado inicial: (1\times10^{-4}), com um fator de redução de 0,75 após cinco épocas de paciência e um mínimo de (1\times10^{-6}).
• Computação: GPU NVIDIA RTX 6000.

De similaridades pareadas para grafos

Após a extração de características, o VeriCam representa o conjunto de imagens como um grafo não direcionado (G=(V,E)). Cada vértice representa uma imagem, e os pesos das arestas representam a similaridade cosseno entre pares de imagens conectadas.

Os autores observam que o agrupamento espectral parece proibitivamente caro para seus conjuntos de teste, que contêm mais de 6.000 imagens. Eles, portanto, avaliam duas abordagens.

1. O algoritmo ingênuo

O algoritmo ingênuo processa as instâncias sequencialmente.

1. Compara cada nova imagem com as imagens do conjunto conhecido.
2. Calcula a similaridade média entre essa imagem e cada classe conhecida.
3. Se a média de cada classe estiver abaixo do limite, a imagem inicializa uma nova classe.
4. Caso contrário, ela é atribuída à classe com a maior similaridade média.

O limite é definido como 0,6. O algoritmo pode começar com instâncias e rótulos conhecidos ou sem informações prévias de classe.

2. Agrupamento de grafos Leiden

A segunda abordagem utiliza o algoritmo Leiden para agrupamento de grafos. O artigo usa a função de qualidade do Modelo de Potts Constante com um parâmetro de resolução de 0,8.

Os autores selecionaram esta configuração porque esperam comunidades fortemente conectadas quando a precisão da verificação é alta. Assim como no método ingênuo, a tarefa é tratada como agrupamento agnóstico a rótulos.

A configuração experimental: divisões por imagem versus por dispositivo

As 33.668 imagens funcionais são divididas usando partições de treinamento, validação e teste na proporção de 60/20/20.

Cenário	Partição	Contagem de Instâncias	Contagem de Dispositivos
Intra-Dispositivo	Treinamento	20.200	612
	Validação	6.734	612
	Teste	6.734	612
Inter-Dispositivo	Treinamento	20.914	368
	Validação	6.477	122
	Teste	6.277	122

No cenário intra-dispositivo, as imagens de cada dispositivo são divididas entre as três partições. As imagens são inéditas no momento do teste, mas os dispositivos são conhecidos.

No cenário inter-dispositivo, a divisão ocorre no nível do dispositivo. Os dispositivos nas partições de validação e teste não estão presentes no treinamento, portanto, essas partições contêm dispositivos de captura desconhecidos.

Os números: alta homogeneidade, menor completude

O modelo de verificação foi avaliado em um conjunto estático de 50.000 pares aleatórios de imagens de teste, equilibrado entre pares genuínos e pares de impostores.

Resultados da linha de base de verificação

Cenário	Precisão (%)	Precisão (%)	Revocação (%)	Pontuação F1
Intra-Dispositivo	98,13	98,87	97,36	98,11
Inter-Dispositivo	93,79	97,83	89,52	93,45

A revocação inter-dispositivo caiu de 97,36% para 89,52%. O artigo identifica os falsos negativos resultantes como uma limitação importante: pares genuínos do mesmo dispositivo são mais frequentemente rejeitados quando esses dispositivos não foram encontrados durante o treinamento.

Desempenho do algoritmo ingênuo

Cenário	Modo de Inicialização	V-Measure (%)	Atribuições Corretas (%)
Intra-Dispositivo	Nenhum	89,68	64,52
	Conjunto de Treinamento	92,30	82,09
Inter-Dispositivo	Nenhum	73,45	43,10
	Conjunto de Treinamento	72,51	33,90

Para dispositivos conhecidos no cenário intra-dispositivo, as informações iniciais de treinamento melhoraram os resultados do algoritmo ingênuo. No cenário inter-dispositivo, a mesma inicialização reduziu tanto o V-Measure quanto as atribuições corretas. Os autores atribuem isso à distribuição de teste estar fora do intervalo do conjunto de treinamento.

Desempenho do algoritmo Leiden

Cenário	Rótulos Conhecidos Fornecidos	Homogeneidade (%)	Completude (%)	V-Measure (%)
Intra-Dispositivo	Nenhum	99,22	81,11	89,25
	Conjunto de Treinamento	99,26	81,17	89,31
Inter-Dispositivo	Nenhum	99,18	67,23	80,14
	Conjunto de Treinamento	95,34	63,66	76,35

No cenário inter-dispositivo, sem informação prévia, o resultado do Leiden supera o resultado ingênuo: 80,14 versus 73,45 no V-Measure.

A diferença entre homogeneidade e completude é central. Os clusters Leiden inter-dispositivo eram altamente homogêneos: raramente misturavam imagens de diferentes classes de dispositivos de captura. Mas a completude era menor, o que significa que imagens do mesmo dispositivo eram frequentemente divididas entre vários clusters.

A análise qualitativa do artigo conecta essa fragmentação aos falsos negativos na etapa de verificação. Relações da mesma classe ausentes deixam as classes divididas em grupos separados, mesmo quando esses grupos permanecem internamente puros.

O teste de estresse de OCR com PARSeq

Os autores também avaliam o PARSeq-tiny no LPLCv2. Eles treinam versões tanto do zero quanto pré-treinadas para os cenários intra-dispositivo e inter-dispositivo, e em seguida relatam a precisão de placas e caracteres nas categorias de legibilidade por placa do conjunto de dados.

Avaliação completa de OCR do PARSeq-tiny

Configuração	Nível de Legibilidade	Do Zero: Placa (%)	Do Zero: Caract. (%)	Pré-treinado: Placa (%)	Pré-treinado: Caract. (%)
Intra-Dispositivo	Perfeita	98.73	99.72	99.01	99.78
	Boa	94.43	98.72	95.17	98.96
	Ruim	84.82	97.21	87.12	97.63
	Illegível	65.91	91.02	68.18	91.34
	Total	95.29	99.00	95.98	99.15
Inter-Dispositivo	Perfeita	98.72	99.78	99.08	99.84
	Boa	94.29	98.94	96.16	99.25
	Ruim	84.52	97.06	85.60	97.38
	Illegível	56.06	85.61	50.76	82.90
	Total	93.41	98.66	94.26	98.80

Três padrões relatados se destacam:

1. Placas perfeitas mudaram pouco entre os cenários: A precisão de placas foi de 98,73% versus 98,72% para o modelo treinado do zero, e 99,01% versus 99,08% para o modelo pré-treinado.

2. A precisão geral de placas diminuiu entre dispositivos: O modelo treinado do zero caiu 1,88 ponto percentual, de 95,29% para 93,41%. O modelo pré-treinado caiu 1,72 pontos, de 95,98% para 94,26%.

3. Placas ilegíveis foram as mais afetadas: O modelo treinado do zero caiu 9,85 pontos, de 65,91% para 56,06%. O modelo pré-treinado caiu 17,42 pontos, de 68,18% para 50,76%.

Os autores destacam especificamente que as placas de baixa resolução e de difícil leitura foram o grupo mais afetado. Seu estudo mede as diferenças de desempenho resultantes; ele não identifica as características visuais específicas responsáveis por elas.

O que o estudo diz — e não diz — sobre benchmarks de OCR

As evidências diretas do VeriCam dizem respeito a imagens de vigilância de trânsito no LPLCv2 e ao reconhecimento de placas de veículos no PARSeq-tiny. Ele não avalia recibos, faturas, documentos de identidade, APIs comerciais de OCR ou hardware de digitalização de documentos.

No entanto, dentro do seu escopo declarado, ele estabelece várias observações úteis sobre o design de benchmarks.

1. O protocolo de divisão altera o que está sendo medido

Uma divisão intra-dispositivo testa novas imagens de dispositivos já representados no treinamento. Uma divisão cross-device testa dispositivos de captura desconhecidos.

Para o experimento de OCR do LPLCv2, esses dois protocolos produziram resultados diferentes de reconhecimento de placas, particularmente para o subconjunto Illegible (ilegível). O artigo apresenta o reconhecimento dinâmico de dispositivos como um passo para a construção de benchmarks mais justos e menos contaminados.

2. Grupos de dispositivos de captura desconhecidos podem ser descobertos sem rótulos de teste

O pipeline do VeriCam usa treinamento supervisionado de verificação e, em seguida, agrupa imagens alvo de forma agnóstica a rótulos. Na configuração cross-device testada, o agrupamento Leiden alcançou alta homogeneidade, mas menor completude.

Esse resultado não estabelece uma solução geral para todos os corpora de OCR. Ele mostra, neste cenário de vigilância de trânsito, que um pipeline de verificação e agrupamento pode recuperar uma estrutura útil de dispositivos de captura sem exigir que as classes alvo sejam conhecidas antecipadamente.

3. Métricas de placa e de caractere contam partes diferentes da história

Para o resultado pré-treinado do PARSeq em cross-device, a precisão geral de caracteres permaneceu em 98,80%, enquanto a precisão geral de placas foi de 94,26%. Para placas ilegíveis, os valores correspondentes foram 82,90% de precisão de caracteres e 50,76% de precisão de placas.

A tabela, portanto, mostra por que tanto as métricas em nível de caractere quanto as de string completa são relevantes ao interpretar esta avaliação específica de OCR.

Limitações rigorosas e o caminho a seguir

O artigo é explícito sobre suas limitações atuais:

• Fragmentação de clusters devido à menor recall: Na configuração Leiden entre dispositivos, a completude foi de 67,23%, apesar da homogeneidade de 99,18%. Imagens do mesmo dispositivo eram frequentemente divididas entre vários clusters.

• Sensibilidade a classes sub-representadas: Os autores relatam que as classes menos representadas continuam sendo difíceis, mesmo após restringir o conjunto de dados a dispositivos com pelo menos dez imagens.

• Necessidade de corrigir decisões passadas: Trabalhos futuros incluem melhorar a abordagem ingênua para que ela possa usar informações de teste recebidas para corrigir erros anteriores.

• Escopo de validação limitado: O método é validado no domínio de vigilância de rua no LPLCv2. Os autores identificam a expansão para novos recursos e outros conjuntos de dados como trabalho futuro.

Os autores disponibilizaram em código aberto sua implementação em github.com/lmlwojcik/VeriCam.

Reflexões finais

O VeriCam não estabelece que cada falha de OCR seja causada por viés do dispositivo de captura, nem testa cargas de trabalho de IA para documentos além do reconhecimento de placas de veículos. Seu resultado é mais restrito, mas ainda assim importante: no LPLCv2, a avaliação com dispositivos disjuntos produz uma precisão de placa PARSeq menor do que a divisão em nível de imagem, com as maiores diferenças ocorrendo em placas mais difíceis.

A contribuição do artigo é uma linha de base baseada em verificação para agrupar classes desconhecidas, juntamente com um método agnóstico a rótulos para identificar grupos de dispositivos de captura. Para seu cenário de vigilância de tráfego, isso fornece uma rota concreta para testar se um benchmark está medindo a generalização para dispositivos de captura não vistos, em vez de apenas o desempenho em novas imagens de dispositivos conhecidos.