Insider
Innodata IncINOD

Innnodata виявила обмеження провідних AI‑моделей у візуальному розпізнаванні деталей

Innnodata оцінила сім AI‑моделей на 150 завдань візуального мислення і виявила, що найкраща модель Gemini 3,1 Pro обирає відволікаючу відповідь у 85,7 % своїх помилок у завданнях на обертання та аналогії.

Перевірено за 2 архівними першоджерелами · SHA-256 зафіксовано Першоджерела та цитування ↓
MacBook Pro on table beside white iMac and Magic Mouse
Фото: Domenico Loia / Unsplash

Головне

  • Компанія протестувала сім моделей — п’ять передових API‑моделей і два відкритих — на 150 елементів, по 25 у кожній категорії.
  • Оцінка виявила два окремих вимоги до візуального розуміння: здатність виводити структуру зображення та точно сприймати деталі, необхідні для застосування цього виводу.
  • Якщо клієнт ставить у пріоритет точне розпізнавання дрібних візуальних елементів, результати Innodata можуть слугувати орієнтиром для вибору або доопрацювання моделей, що зменшить ризик помилок у критичних застосуваннях.

Що сталося

Компанія протестувала сім моделей — п’ять передових API‑моделей і два відкритих — на 150 елементів, по 25 у кожній категорії. Три провідні моделі (Gemini, Claude, GPT‑4o) отримали загальний бал 0,70–0,79, що значно вище випадкового 20 %. Найвищі результати у підкатегоріях «аналогія» та «обертання» склали лише 0,56. Модель Gemini 3,1 Pro правильно визначила патерн, проте у 85,7 % випадків помилково вибрала відволікаючу відповідь, не помітивши, що різниця полягає лише у орієнтації прапора.

Чому це важливо

Оцінка виявила два окремих вимоги до візуального розуміння: здатність виводити структуру зображення та точно сприймати деталі, необхідні для застосування цього виводу. Gemini 3,1 Pro продемонструвала слабкість у другій вимозі, не розрізняючи дрібну зміну орієнтації прапора, що призвело до високого відсотка вибору відволікаючих відповідей. Клієнти, які використовують візуальну аналітику у медичній діагностиці чи автономному управлінні, можуть зазнати помилок, якщо їх модель має подібні недоліки.

Коли це може допомогти

Якщо клієнт ставить у пріоритет точне розпізнавання дрібних візуальних елементів, результати Innodata можуть слугувати орієнтиром для вибору або доопрацювання моделей, що зменшить ризик помилок у критичних застосуваннях.

Ризики та невідомості

Високий показник вибору відволікаючих відповідей у провідних моделях може підштовхнути ринок до сумнівів у достовірності оцінок Innodata, що може вплинути на її репутацію як постачальника AI‑бенчмаркінгу.

На що варто звернути увагу

Наступні розголошення компанії, зокрема у 10‑Q, можуть містити дані про комерційну реалізацію платформи Agent Personalization Platform і про те, чи почали клієнти її активно використовувати.

Першоджерела

  1. Beyond the Caption: What Building Our Own Visual-Logic Benchmark Taught Us About Today’s VLMs17 вересня 2026SHA-256 нашої архівної копії 2883c4c8f264…
  2. Why Personalization Is a Training Problem for Long-Horizon AI Agents6 жовтня 2026SHA-256 нашої архівної копії b587decbdf57…
Як цитувати цей матеріал

Відбиток визначає точну версію кожного оригіналу, на основі якої написано матеріал; сам оригінал лишається в джерелі.

Матеріал підготував AI на основі офіційних документів компанії; перед публікацією його перевіряють автоматичні перевірки й AI-редактор, і не кожен матеріал читає людина. Це не інвестиційна порада. Редакційні стандарти