Innnodata halla que los modelos de IA líderes tienen limitaciones en el reconocimiento visual de detalles
Innnodata evaluó siete modelos de IA en 150 tareas de pensamiento visual y descubrió que el modelo líder Gemini 3,1 Pro eligió un distractor en el 85,7 % de sus errores en problemas de rotación y analogía
Claves
- La empresa probó siete modelos –cinco modelos de API líderes y dos modelos de pesos abiertos– en 150 elementos, 25 por categoría.
- La evaluación reveló dos requisitos distintos para la comprensión visual: la capacidad de inferir la estructura de la imagen y la capacidad de percibir detalles precisos con exactitud.
- Si un cliente prioriza el reconocimiento preciso de pequeños elementos visuales, los resultados de Innodata pueden servir como punto de referencia para elegir o perfeccionar modelos, reduciendo el riesgo de error en aplicaciones críticas
Qué sucedió
La empresa probó siete modelos –cinco modelos de API líderes y dos modelos de pesos abiertos– en 150 elementos, 25 por categoría. Tres modelos líderes (Gemini, Claude, GPT-4o) obtuvieron una puntuación global de 0,70–0,79, muy por encima del nivel de azar del 20 %. Las puntuaciones más altas en las subcategorías de analogía y rotación fueron de 0,56. Gemini 3,1 Pro identificó el patrón pero eligió el distractor en el 85,7 % de los casos, sin detectar que la única diferencia era la orientación de la bandera
Por qué es importante
La evaluación reveló dos requisitos distintos para la comprensión visual: la capacidad de inferir la estructura de la imagen y la capacidad de percibir detalles precisos con exactitud. Gemini 3,1 Pro mostró debilidad en el segundo requisito, al no distinguir un ligero cambio en la orientación de la bandera, lo que derivó en una alta tasa de selección de distractores. Los clientes que utilizan análisis visual para diagnósticos médicos o conducción autónoma podrían sufrir errores si su modelo presenta fallos similares
Cuándo puede ser útil
Si un cliente prioriza el reconocimiento preciso de pequeños elementos visuales, los resultados de Innodata pueden servir como punto de referencia para elegir o perfeccionar modelos, reduciendo el riesgo de error en aplicaciones críticas
Riesgos e incertidumbres
Una alta tasa de selección de distractores en los modelos líderes podría llevar al mercado a dudar de la credibilidad de la evaluación de Innodata, lo que podría perjudicar su reputación como proveedor de referencia en IA
Qué vigilar
Las futuras divulgaciones, como en un Form 10-Q, pueden contener datos sobre el despliegue comercial de la Agent Personalization Platform y si los clientes han comenzado a utilizarla activamente
Fuentes originales
- Beyond the Caption: What Building Our Own Visual-Logic Benchmark Taught Us About Today’s VLMs
- Why Personalization Is a Training Problem for Long-Horizon AI Agents
Citar este artículo
La huella identifica la versión exacta de cada original con la que se escribió el artículo; el original sigue en su fuente.
Seguir Innodata
Un aviso en su navegador o en su móvil cuando publicamos sobre Innodata. Gratis, sin correo, sin cuenta y sin aplicación.
Elaborado por IA a partir de documentos oficiales de las empresas; controles automáticos y un editor de IA lo revisan antes de publicarse, y no todos los artículos los lee una persona. No es asesoramiento de inversión. Estándares editoriales
