O ImageNet vem avaliando modelos com um gabarito incorreto há 14 anos

Imagine uma prova de ortografia com 50.000 questões, corrigida com base em um gabarito que um professor escreveu uma única vez, às pressas, lá em 2012, e nunca mais revisou. Agora imagine que esse gabarito tem erros em cerca de 1 a cada 8 respostas e que, em um terço das perguntas, havia na verdade duas ou três grafias aceitáveis, mas apenas uma era considerada correta. Esse é o conjunto de validação do ImageNet-1k, o benchmark que serviu de alicerce para a pesquisa em classificação de imagens por mais de uma década — e o tema central de um novo artigo intitulado "Doomed to Re-Annotate, Forever: The ImageNet Story".

A constatação que deveria fazer você parar a leitura agora mesmo: cerca de 12% dos rótulos originais do ImageNet-1k estão errados, 33,3% das imagens exibem, na verdade, mais de uma classe válida, e 3,8% não contêm absolutamente nenhum objeto pertencente às 1.000 categorias. Qualquer alegação de "estado da arte" baseada na acurácia top-1 nesse dataset vinha sendo avaliada, em parte, contra um gabarito incorreto. E quando os pesquisadores o corrigiram, a acurácia top-1 dos modelos supervisionados mudou em até 1,2 ponto percentual, enquanto a dos modelos multimodais de linguagem ampla (MLLMs, o tipo de modelo capaz de olhar para uma imagem e responder a perguntas sobre ela em linguagem natural) saltou de 5 a 6 pontos. Isso não é mero ruído. É uma fração expressiva daquilo que vinha sendo chamado de "progresso".

Por que a foto de um cachorro com um Frisbee quebra um benchmark de resposta única

O ImageNet-1k exige que o modelo escolha exatamente um rótulo, a partir de uma lista rígida de 1.000 categorias, para cada imagem. Essa restrição fazia sentido em 2012, quando a área precisava de uma forma simples e comparável de medir se os computadores eram capazes de reconhecer objetos. No entanto, ela tem se mostrado silenciosamente equivocada desde então, porque fotos do mundo real não obedecem a regras de rótulo único.

Pense em uma foto rotulada como "Labrador retriever". Se o cachorro também estiver segurando uma bolinha de tênis, mordendo um pedaço de pau ou sentado ao lado de uma pessoa em um sofá, qual é a resposta "correta"? Os anotadores originais do ImageNet escolhiam uma opção e seguiam em frente, em escala, ao longo de um milhão de imagens, utilizando trabalhadores de crowdsourcing que, em sua maioria, viam cada imagem apenas uma vez. Multiplique pequenas ambiguidades por um milhão de fotos e o resultado é um benchmark repleto de respostas defensáveis, mas incorretas. O dado central do artigo — de que um terço das imagens é genuinamente multirrótulo — é, na verdade, apenas uma contagem honesta de quantas vezes a realidade se recusa a cooperar com uma escolha única e forçada.

Há também um segundo problema, ainda mais sutil: as próprias categorias são inconsistentes. As 1.000 classes do ImageNet vêm do WordNet, uma base de dados linguística, e não de uma taxonomia cuidadosamente projetada para visão computacional. Algumas classes se sobrepõem ("laptop" e "notebook computer"), outras são estranhamente específicas, e certas definições só ficaram claras para os anotadores originais depois que eles já haviam rotulado milhares de imagens da forma "errada" — de acordo com a definição adotada posteriormente. Esse é o argumento mais profundo do artigo: não é possível redigir um conjunto definitivo de diretrizes para uma tarefa como essa antes de começar a rotular, pois os casos limites que obrigam a refinar as regras só aparecem quando você já está imerso no processo de anotação. Erros e lacunas conceituais são descobertos durante a execução do trabalho, e não planejando-o com antecedência.

Como a equipe construiu o ReImageNet sem fingir que uma única passada resolveria tudo

A maioria das tentativas anteriores de limpar os rótulos do ImageNet tratou o problema como uma correção pontual (one-shot): encontrar os erros, corrigi-los e disponibilizar um CSV atualizado. A aposta central desta equipe é que um dataset na escala do ImageNet não pode, de forma realista, ser anotado corretamente em uma única passada. Por isso, eles estruturaram o pipeline em torno do refinamento contínuo e da checagem sistemática de erros. O fluxo é: anotar, identificar onde as diretrizes falham, revisar essas diretrizes, reavaliar o trabalho anterior com base nas novas regras e repetir.

O resultado, o ReImageNet, vai muito além de apenas corrigir rótulos incorretos. Para cada imagem do conjunto de validação, a equipe adicionou:

• Correção multirrótulo — listando todas as classes válidas presentes, e não apenas uma
• Localização de objetos — indicando exatamente onde cada objeto rotulado está na imagem
• Definições de classe revisadas — ajustando o escopo das categorias originais derivadas do WordNet onde havia ambiguidade ou sobreposição
• Atributos semânticos — marcações indicando se a imagem contém texto, se é uma fotografia em vez de desenho ou renderização, se o objeto é visto através de um reflexo, se está em meio a uma multidão e se um objeto específico domina claramente o enquadramento

Vale a pena destacar o atributo de reconhecimento de texto. Uma fração das fotos do ImageNet contém texto visível: um rótulo em um frasco, uma placa ao fundo, uma palavra estampada em uma camiseta. Um modelo que esteja de fato lendo esse texto, em vez de reconhecer formas visuais, pode receber uma ajuda ou ser penalizado dependendo da imagem, e ninguém vinha monitorando essa variável até então. Sinalizar isso é uma adição simples, mas de valor desproporcional: transforma a pergunta "por que o modelo errou esta imagem?" de um mistério em uma hipótese verificável.

Outro ponto que chama a atenção é quem realiza a rotulagem. O artigo relata que a colaboração entre humanos e LLMs, combinada às ferramentas adequadas, representa o teto atual de qualidade para anotações nessa escala. Na prática, isso provavelmente significa que os LLMs sugerem rótulos candidatos, apontam inconsistências ou pré-preenchem atributos, enquanto os humanos revisam, resolvem divergências e identificam os casos em que o modelo erra com total convicção. Nenhum dos lados trabalha sozinho. Esse é um dado valioso para quem está decidindo como estruturar a equipe de um grande projeto de anotação hoje: o crowdsourcing puro deixou passar muita coisa em 2012, e a automação pura provavelmente deixaria passar outro tanto hoje, só que de maneiras diferentes.

Os números que importam e por que 12% de erro é pior do que parece

Aqui está o balanço em termos diretos:

• ~12% dos rótulos originais estão errados. Não são casos limítrofes nem "discutivelmente errados", mas categoricamente incorretos para a imagem exibida.
• 33,3% das imagens são multirrótulo. Um terço do conjunto de validação exibe genuinamente mais de uma classe do ImageNet, e o antigo formato de rótulo único vinha penalizando silenciosamente respostas corretas.
• 3,8% não contêm objetos de nenhuma das 1.000 classes. Quase 4 em cada 100 questões do teste simplesmente não tinham resposta correta disponível na lista.
• Modelos supervisionados ganham até 1,2 ponto de acurácia top-1 quando avaliados contra os rótulos corrigidos em vez dos originais.
• MLLMs ganham de 5 a 6 pontos. É um salto considerável, e isso revela muito sobre os motivos.

A diferença entre esses dois últimos números é a grande revelação aqui. Um classificador supervisionado moderno, treinado de ponta a ponta no ImageNet, em certo sentido aprendeu a prever as idiossincrasias do dataset junto com os conceitos visuais reais. Ele absorveu as convenções de anotação originais durante o treinamento; portanto, ao ser avaliado sob essas mesmas convenções, a discrepância praticamente se anula. Já um MLLM não foi treinado para imitar os hábitos específicos de rotulagem do ImageNet. Ele observa a imagem, raciocina sobre o que de fato está nela e frequentemente fornece uma resposta genuinamente correta que o antigo ground truth de rótulo único simplesmente não admitia. Em outras palavras, uma parte expressiva da narrativa de que "os MLLMs são piores em classificação do que modelos especializados" pode ter sido apenas a medição do cumprimento de regras arcaicas de 2012, e não da compreensão visual real.

E o impacto não fica restrito ao benchmark original. O artigo demonstra que as falhas do ImageNet-1k se propagam para seus conjuntos de teste derivados — os diversos benchmarks subsequentes criados por meio de reamostragem ou perturbação dos dados originais. Se os rótulos de base estão errados, tudo o que vem a jusante herda o erro. É por isso que os autores tratam isso como um problema estrutural, e não como uma simples falha pontual de um único dataset: toda a comunidade construiu uma família inteira de benchmarks sobre uma base que ninguém havia auditado a fundo.

Por que isso importa se você está construindo ou escolhendo soluções de OCR

Os leitores do OpenOCR não estão treinando classificadores no ImageNet, então é perfeitamente justo perguntar por que este artigo está neste blog. Há duas razões para isso, e ambas são práticas.

Primeiro, a metodologia se aplica diretamente. As áreas de Document AI e os benchmarks de OCR compartilham exatamente os mesmos modos de falha do ImageNet, muitas vezes em escala ainda pior. Uma fatura escaneada pode ter um carimbo sobreposto à linha do valor total, uma anotação manuscrita ao lado de um campo impresso ou uma célula de tabela que admite legitimamente duas leituras diferentes. O "ground truth" para datasets de OCR costuma ser construído da mesma maneira que o do ImageNet foi em 2012: uma única passada, um único anotador ou equipe reduzida e definições congeladas antes mesmo que alguém se depare com os casos limites. Este artigo é um argumento contundente de que, ao criar ou auditar um benchmark de documentos, é essencial prever no orçamento a reanotação iterativa desde o início, e não apenas como um retrabalho posterior. Uma única passada de rotulagem em larga escala conterá erros em uma parcela significativa dos seus dados, ponto final.

Segundo, e mais diretamente relevante para quem precisa escolher uma engine de OCR: as taxas de acurácia de um benchmark só são tão confiáveis quanto o seu ground truth. Se você está escolhendo entre diferentes engines com base em um leaderboard, pergunte-se o que de fato constitui esse ground truth, como ele foi gerado, se passou por mais de uma revisão e se contempla casos que admitem mais de uma leitura plausível (um dígito borrado que pode ser um 3 ou um 8, um campo de nome ambíguo entre duas segmentações). Uma diferença de 1 a 2 pontos de acurácia entre duas engines pode ser totalmente explicada pelo ruído nos rótulos, e não por uma disparidade real de capacidade — exatamente como o artigo comprovou nos modelos supervisionados do ImageNet. E se você estiver avaliando um modelo de compreensão de documentos em vez de mera extração de texto, o número mais impactante deste estudo deve servir de alerta: os MLLMs ganharam de 5 a 6 pontos quando avaliados de forma justa. Qualquer avaliação de OCR que teste modelos multimodais contra um ground truth de resposta única e gerado em uma só passada provavelmente os está subestimando, exatamente pelas mesmas razões observadas no ImageNet.

Os atributos semânticos são outra ideia menor, mas extremamente útil, que vale a pena adotar. Marcar se uma imagem contém texto, se é uma fotografia ou uma renderização, ou se o conteúdo é visto através de um reflexo transforma a constatação "o modelo falhou nesta imagem" em uma categoria depurável, em vez de uma incógnita. Os benchmarks de documentos se beneficiariam enormemente do mesmo tipo de anotação: trata-se de uma foto de página ou de uma digitalização em scanner de mesa? O texto é manuscrito ou tipografado? Há marca-d'água ou carimbo cobrindo o conteúdo? Atualmente, a maioria dos benchmarks de OCR reporta um único número agregado de acurácia, ocultando justamente as variações que indicariam onde uma engine realmente encontra dificuldades.

Onde isso ainda deixa a desejar

O artigo é transparente quanto às suas próprias limitações, e vale a pena levar isso a sério em vez de encarar o ReImageNet como um problema resolvido. O próprio título deixa isso explícito: "Doomed to Re-Annotate, Forever". A premissa dos próprios autores é que nenhum esforço de anotação nessa escala atinge um estágio final e livre de falhas; o ReImageNet é um gabarito melhor, não um gabarito perfeito e, segundo a própria tese apresentada, exigirá novas passadas à medida que novos casos limites conceituais surgirem.

Há também uma restrição de escopo que merece ser destacada para quem trabalha especificamente com OCR: este é um benchmark de classificação de imagens naturais. Nenhuma das correções do ReImageNet afeta a acurácia de reconhecimento de texto, a compreensão de layout ou a extração de tabelas — os aspectos que os benchmarks de OCR de fato precisam mensurar. A relevância aqui reside integralmente na metodologia e no que o estudo revela sobre como os MLLMs são avaliados em tarefas visuais de forma geral, e não em uma melhoria direta de qualquer dataset específico de OCR.

E um aviso prático para quem estiver tentado a simplesmente substituir os rótulos antigos pelos novos: recalcular a pontuação dos modelos no ReImageNet altera o leaderboard. Modelos antes classificados como os "melhores" por uma fração de ponto podem mudar de posição quando avaliados com um ground truth corrigido e sensível a múltiplos rótulos. Se você citar números de acurácia do ImageNet em um artigo, post de blog ou model card, convém explicitar claramente, daqui para frente, qual conjunto de rótulos embasa essa métrica. "Top-1 no ImageNet" passou a significar silenciosamente duas coisas distintas a partir da publicação deste artigo, e a diferença entre elas não é sutil o suficiente para ser ignorada.

Os dados, as definições de classes, as diretrizes de anotação e o código de análise são todos públicos (com links disponíveis no artigo), o que torna este trabalho realmente aplicável, e não apenas uma estatística curiosa para ser citada. Qualquer pessoa desenvolvendo a próxima geração de benchmarks de visão computacional ou processamento de documentos agora conta com um exemplo concreto de como estruturar um pipeline de anotação iterativo baseado na colaboração entre humanos e LLMs — com todas as suas complexidades e imperfeições.