ImageNet lleva 14 años evaluando modelos con una clave de respuestas defectuosa

Imagina un examen de ortografía de 50,000 preguntas, calificado con una clave de respuestas que un profesor redactó a las prisas allá por 2012 y que nunca más volvió a revisar. Ahora imagina que esa clave tiene erratas en aproximadamente 1 de cada 8 respuestas, y que en un tercio de las preguntas había en realidad dos o tres grafías aceptables, pero solo una se dio por buena. Ese es el conjunto de validación de ImageNet-1k, el benchmark que ha servido de pilar para la investigación en clasificación de imágenes durante más de una década, y el tema central de un nuevo paper titulado "Doomed to Re-Annotate, Forever: The ImageNet Story."

El hallazgo que debería detenerte en seco mientras haces scroll: alrededor del 12% de las etiquetas originales de ImageNet-1k son incorrectas, el 33.3% de las imágenes muestran en realidad más de una clase válida y el 3.8% directamente no contienen ningún objeto de entre las 1,000 categorías. Cada afirmación de "state of the art" construida sobre la top-1 accuracy frente a este dataset ha sido evaluada, en parte, con una pauta defectuosa. Y cuando los investigadores la corrigieron, la top-1 accuracy de los modelos supervisados se movió hasta en 1.2 puntos porcentuales, mientras que la de los modelos multimodales de lenguaje grande (MLLMs, el tipo de modelo capaz de analizar una imagen y responder preguntas sobre ella en lenguaje natural) dio un salto de 5 a 6 puntos. Eso no es ruido estadístico: es una porción sustancial de lo que se ha venido llamando "progreso".

Por qué la foto de un perro y un frisbee rompe un benchmark de respuesta única

ImageNet-1k le pide a un modelo que elija exactamente una etiqueta, de una lista cerrada de 1,000 categorías, para cada imagen. Esa restricción tenía sentido en 2012, cuando el campo necesitaba una forma sencilla y comparable de medir si las computadoras eran capaces de reconocer objetos. Desde entonces ha estado equivocada en silencio, porque las fotos del mundo real no respetan las reglas de una sola etiqueta.

Tomemos una foto etiquetada como "Labrador retriever". Si el perro también sostiene una pelota de tenis, muerde una rama o está sentado junto a una persona en un sofá, ¿cuál es la respuesta "correcta"? Los anotadores originales de ImageNet eligieron una y siguieron adelante, a escala masiva, a lo largo de un millón de imágenes y recurriendo a crowdworkers que en su mayoría vieron cada foto una sola vez. Multiplica pequeñas ambigüedades por un millón de imágenes y obtendrás un benchmark plagado de respuestas defendibles pero equivocadas. La cifra principal del paper —que un tercio de las imágenes son genuinamente multietiqueta— no es más que un recuento honesto de las veces que el mundo real se niega a encajar en una única opción forzada.

Luego surge un segundo problema, más engañoso: las categorías en sí mismas son inconsistentes. Las 1,000 clases de ImageNet provienen de WordNet, una base de datos lingüística, y no de una taxonomía cuidadosamente diseñada para visión por computadora. Algunas clases se solapan ("laptop" y "notebook computer"), otras son extrañamente específicas, y ciertas definiciones solo quedaron claras para los anotadores originales después de haber etiquetado miles de imágenes de forma "incorrecta" según el criterio que terminaron adoptando más tarde. Ese es el argumento de fondo del paper: no se puede redactar un libro de reglas definitivo para una tarea como esta antes de empezar a etiquetar, porque los casos límite que te obligan a refinar las directrices solo aparecen cuando ya estás inmerso en el proceso de anotación. Los errores y los vacíos en las definiciones se descubren haciendo el trabajo, no planificándolo de antemano.

Cómo construyó el equipo ReImageNet sin pretender solucionarlo en una sola pasada

La mayoría de los intentos previos por depurar las etiquetas de ImageNet lo abordaron como una corrección puntual (one-shot): encontrar los errores, corregirlos y publicar un archivo CSV parcheado. La apuesta central de este equipo es que un conjunto de datos a la escala de ImageNet no puede anotarse correctamente en una sola pasada de forma realista; por eso, diseñaron su pipeline en torno a un refinamiento iterativo y a la detección continua de errores. Anotar, identificar dónde fallan las directrices, revisar las directrices, reevaluar el trabajo previo con las nuevas directrices y repetir el ciclo.

El resultado, ReImageNet, va mucho más allá de simplemente corregir etiquetas erróneas. Para cada imagen del conjunto de validación, el equipo añadió:

• Corrección multietiqueta — listando cada clase válida presente, no solo una
• Localización de objetos — marcando en qué parte de la imagen se encuentra realmente cada objeto etiquetado
• Definiciones de clase revisadas — delimitando con mayor precisión las categorías originales derivadas de WordNet donde resultaban ambiguas o superpuestas
• Atributos semánticos — flags sobre si una imagen contiene texto, si se trata de una foto frente a un dibujo o render, si el objeto se observa a través de un reflejo, si está en medio de una multitud y si un objeto predomina con claridad en el encuadre

Vale la pena detenerse en ese atributo de reconocimiento de texto. Una fracción de las fotos de ImageNet contiene texto visible: la etiqueta de un frasco, un cartel de fondo o una palabra estampada en una camiseta. Un modelo que efectivamente esté leyendo ese texto, en lugar de limitarse a reconocer formas, podría recibir una ayuda o una penalización dependiendo de la imagen, y hasta ahora nadie estaba controlando esa variable. Registrarla es un añadido pequeño con un valor enorme: convierte el "¿por qué falló el modelo en esta imagen?" de un misterio indescifrable en una hipótesis comprobable.

La otra decisión destacable es quién realiza el etiquetado. El paper señala que la colaboración entre humanos y LLMs, combinada con las herramientas adecuadas, representa el techo de calidad actual para la anotación a esta escala. En la práctica, esto probablemente significa que los LLMs proponen etiquetas candidatas, detectan inconsistencias o preasignan atributos, mientras que los humanos revisan, arbitran discrepancias y detectan los casos en los que el modelo se equivoca con total seguridad. Ninguna de las dos partes trabaja sola. Es un dato valioso para cualquiera que deba decidir cómo conformar el equipo de un proyecto de anotación a gran escala hoy en día: el crowdsourcing puro pasó por alto muchísimos detalles en 2012, y la automatización pura probablemente pasaría por alto la misma cantidad hoy, aunque de formas distintas.

Las cifras que importan, y por qué un 12% de error es peor de lo que parece

He aquí el balance en términos sencillos:

• ~12% de las etiquetas originales son erróneas. No dudosas ni "debatibles", sino rotundamente incorrectas para la imagen mostrada.
• 33.3% de las imágenes son multietiqueta. Un tercio del conjunto de validación muestra legítimamente más de una clase de ImageNet, y el antiguo formato de etiqueta única penalizaba en silencio las respuestas correctas.
• 3.8% no contiene ningún objeto de ninguna de las 1,000 clases. Prácticamente 4 de cada 100 preguntas del test no tenían ninguna respuesta correcta disponible en la lista.
• Los modelos supervisados ganan hasta 1.2 puntos de top-1 accuracy cuando se evalúan contra las etiquetas corregidas en lugar de las originales.
• Los MLLMs ganan entre 5 y 6 puntos. Es una cifra enorme que revela mucho sobre las causas de fondo.

La brecha entre estas dos últimas cifras es la verdadera historia. Un clasificador supervisado moderno entrenado end-to-end en ImageNet ha aprendido, en cierto sentido, a predecir las peculiaridades del dataset junto con los conceptos visuales reales. Al haber absorbido las convenciones de etiquetado originales durante el entrenamiento, cuando se le califica frente a esas mismas convenciones, la discrepancia prácticamente se compensa. En cambio, un MLLM no fue entrenado para imitar los hábitos de anotación específicos de ImageNet. Analiza una imagen, razona sobre lo que realmente hay en ella y con frecuencia ofrece una respuesta genuinamente correcta que el antiguo ground truth de etiqueta única simplemente no contemplaba. En otras palabras, una parte sustancial de la narrativa de que "los MLLMs son peores clasificando que los modelos especializados" podría haber estado midiendo la adhesión a un reglamento idiosincrásico de 2012, y no la comprensión visual.

Y el perjuicio no se queda acotado al benchmark original. El paper demuestra que los problemas de ImageNet-1k se propagan a sus conjuntos de prueba derivados: los diversos benchmarks posteriores construidos mediante remuestreo o perturbación de los datos originales. Si las etiquetas base están mal, todo lo que se construye aguas abajo hereda el error. Por eso los autores argumentan que se trata de un problema estructural y no de un bug aislado en un solo dataset: la comunidad erigió toda una familia de benchmarks sobre unos cimientos que nadie había auditado a fondo.

Por qué esto importa si estás desarrollando o eligiendo un motor de OCR

Los lectores de OpenOCR no suelen entrenar clasificadores de ImageNet, por lo que es razonable preguntarse por qué este paper encaja en este blog. Hay dos motivos, y ambos son eminentemente prácticos.

En primer lugar, la metodología se transfiere de manera directa. Document AI y los benchmarks de OCR tienen exactamente los mismos modos de fallo que ImageNet, a menudo agravados. Una factura escaneada puede tener un sello superpuesto a la línea del total, una corrección manuscrita junto a un campo impreso, o una celda de tabla verdaderamente ambigua entre dos lecturas válidas. El "ground truth" para los datasets de OCR suele construirse de la misma manera que el de ImageNet en 2012: una sola pasada, un único anotador o un equipo pequeño, y definiciones congeladas antes de que nadie se topara con los casos límite. Este paper es un argumento contundente de que, si estás construyendo o auditando un benchmark de documentos, debes presupuestar la reanotación iterativa desde el principio, y no como una limpieza a posteriori. Una sola pasada de etiquetado a escala contendrá errores en una proporción significativa de los datos, punto.

En segundo lugar, y con una relevancia más directa al elegir un motor de OCR: las cifras de accuracy de un benchmark solo son tan confiables como lo sea su ground truth. Si estás comparando motores a partir de una leaderboard, pregúntate qué es realmente ese ground truth, cómo se construyó, si fue revisado más de una vez y si contempla casos con más de una lectura razonable (un dígito manchado que podría ser un 3 o un 8, un campo de nombre ambiguo entre dos posibles segmentaciones). Una diferencia de 1 a 2 puntos de accuracy entre dos motores puede explicarse por completo mediante el ruido en las etiquetas y no por una diferencia real de capacidades, tal como este paper demuestra que ocurrió con los modelos supervisados de ImageNet. Y si estás evaluando un modelo de comprensión de documentos en lugar de una simple extracción de texto plano, la cifra más alta del paper debería hacerte dudar: los MLLMs ganaron de 5 a 6 puntos una vez evaluados de forma justa. Cualquier evaluación de OCR que califique modelos multimodales frente a un ground truth de respuesta única y primera pasada probablemente los esté subestimando por la misma razón que ocurría con ImageNet.

Los atributos semánticos son una idea más modesta pero sumamente útil que también vale la pena adoptar. Etiquetar si una imagen contiene texto, si es una fotografía frente a un renderizado o si muestra contenido a través de un reflejo convierte el "el modelo falló en esta imagen" en una categoría depurable en lugar de un enigma. Los benchmarks de documentos se beneficiarían del mismo tipo de etiquetado: ¿es una foto de una página o un escaneo plano?, ¿el texto es manuscrito o impreso?, ¿hay una marca de agua o un sello superpuesto al contenido? Actualmente, la mayoría de los benchmarks de OCR reportan un único número de accuracy combinado y ocultan precisamente la variación que revelaría en qué situaciones se le complica realmente la tarea a un motor.

Dónde todavía se queda corto

El paper es honesto respecto a sus propios límites, y vale la pena tomárselo en serio en lugar de tratar a ReImageNet como un problema resuelto. El título lo dice abiertamente: "Doomed to Re-Annotate, Forever." La perspectiva de los propios autores es que ningún esfuerzo de anotación a esta escala alcanza un estado definitivo y libre de errores; ReImageNet es una mejor clave de respuestas, no una perfecta, y según su propio planteamiento necesitará más pasadas a medida que salgan a la superficie nuevos casos límite en las definiciones.

También existe un límite de alcance que conviene advertir específicamente a los lectores de OCR: este es un benchmark de clasificación de imágenes naturales. Ninguna de las correcciones de ReImageNet incide en la exactitud del reconocimiento de texto, la comprensión de layouts o la extracción de tablas, que son los aspectos que los benchmarks de OCR realmente necesitan evaluar. La relevancia aquí radica por completo en la metodología y en lo que esto revela sobre cómo se evalúa a los MLLMs en tareas visuales en general, no en una mejora directa de ningún dataset específico de OCR.

Y un apunte práctico para cualquiera tentado a simplemente reemplazar las etiquetas viejas por las nuevas: recalificar los modelos frente a ReImageNet cambia la leaderboard. Modelos que anteriormente figuraban como "los mejores" por una fracción de punto pueden reordenarse una vez que se emplea un ground truth corregido y consciente de las multietiquetas. Si citas cifras de accuracy de ImageNet en un paper, un artículo de blog o una model card, de ahora en adelante conviene ser explícito acerca de qué conjunto de etiquetas respalda esa cifra. "Top-1 en ImageNet" ha pasado a significar silenciosamente dos cosas distintas a partir de la publicación de este paper, y la brecha entre ambas no es lo bastante pequeña como para ignorarla.

Los datos, las definiciones de clases, las directrices de anotación y el código de análisis son públicos (enlazados en el paper), que es la parte que verdaderamente hace que esto sea útil y no una simple estadística curiosa para citar. Cualquiera que esté construyendo la próxima generación de benchmarks para visión o documentos tiene ahora un ejemplo tangible de cómo luce un pipeline de anotación verdaderamente iterativo que combina humanos y LLMs, con todos sus aciertos y defectos.