Insider
Innodata IncINOD

Innnodata halla que los modelos de IA líderes tienen limitaciones en el reconocimiento visual de detalles

Innnodata evaluó siete modelos de IA en 150 tareas de pensamiento visual y descubrió que el modelo líder Gemini 3,1 Pro eligió un distractor en el 85,7 % de sus errores en problemas de rotación y analogía

Verificado con 2 fuentes primarias archivadas · SHA-256 registrado Ver fuentes y citas ↓
MacBook Pro on table beside white iMac and Magic Mouse
Foto: Domenico Loia / Unsplash
150
tareas de pensamiento visual
85,7 %
tasa de error distractores
0,70–0,79
puntuación global líder

Claves

  • La empresa probó siete modelos –cinco modelos de API líderes y dos modelos de pesos abiertos– en 150 elementos, 25 por categoría.
  • La evaluación reveló dos requisitos distintos para la comprensión visual: la capacidad de inferir la estructura de la imagen y la capacidad de percibir detalles precisos con exactitud.
  • Si un cliente prioriza el reconocimiento preciso de pequeños elementos visuales, los resultados de Innodata pueden servir como punto de referencia para elegir o perfeccionar modelos, reduciendo el riesgo de error en aplicaciones críticas

Qué sucedió

La empresa probó siete modelos –cinco modelos de API líderes y dos modelos de pesos abiertos– en 150 elementos, 25 por categoría. Tres modelos líderes (Gemini, Claude, GPT-4o) obtuvieron una puntuación global de 0,70–0,79, muy por encima del nivel de azar del 20 %. Las puntuaciones más altas en las subcategorías de analogía y rotación fueron de 0,56. Gemini 3,1 Pro identificó el patrón pero eligió el distractor en el 85,7 % de los casos, sin detectar que la única diferencia era la orientación de la bandera

Por qué es importante

La evaluación reveló dos requisitos distintos para la comprensión visual: la capacidad de inferir la estructura de la imagen y la capacidad de percibir detalles precisos con exactitud. Gemini 3,1 Pro mostró debilidad en el segundo requisito, al no distinguir un ligero cambio en la orientación de la bandera, lo que derivó en una alta tasa de selección de distractores. Los clientes que utilizan análisis visual para diagnósticos médicos o conducción autónoma podrían sufrir errores si su modelo presenta fallos similares

Cuándo puede ser útil

Si un cliente prioriza el reconocimiento preciso de pequeños elementos visuales, los resultados de Innodata pueden servir como punto de referencia para elegir o perfeccionar modelos, reduciendo el riesgo de error en aplicaciones críticas

Riesgos e incertidumbres

Una alta tasa de selección de distractores en los modelos líderes podría llevar al mercado a dudar de la credibilidad de la evaluación de Innodata, lo que podría perjudicar su reputación como proveedor de referencia en IA

Qué vigilar

Las futuras divulgaciones, como en un Form 10-Q, pueden contener datos sobre el despliegue comercial de la Agent Personalization Platform y si los clientes han comenzado a utilizarla activamente

Fuentes originales

  1. Beyond the Caption: What Building Our Own Visual-Logic Benchmark Taught Us About Today’s VLMs17 de septiembre de 2026SHA-256 de nuestra copia archivada 2883c4c8f264…
  2. Why Personalization Is a Training Problem for Long-Horizon AI Agents6 de octubre de 2026SHA-256 de nuestra copia archivada b587decbdf57…
Citar este artículo

La huella identifica la versión exacta de cada original con la que se escribió el artículo; el original sigue en su fuente.

Elaborado por IA a partir de documentos oficiales de las empresas; controles automáticos y un editor de IA lo revisan antes de publicarse, y no todos los artículos los lee una persona. No es asesoramiento de inversión. Estándares editoriales