Innnodata виявила обмеження провідних AI‑моделей у візуальному розпізнаванні деталей
Innnodata оцінила сім AI‑моделей на 150 завдань візуального мислення і виявила, що найкраща модель Gemini 3,1 Pro обирає відволікаючу відповідь у 85,7 % своїх помилок у завданнях на обертання та аналогії.
Головне
- Компанія протестувала сім моделей — п’ять передових API‑моделей і два відкритих — на 150 елементів, по 25 у кожній категорії.
- Оцінка виявила два окремих вимоги до візуального розуміння: здатність виводити структуру зображення та точно сприймати деталі, необхідні для застосування цього виводу.
- Якщо клієнт ставить у пріоритет точне розпізнавання дрібних візуальних елементів, результати Innodata можуть слугувати орієнтиром для вибору або доопрацювання моделей, що зменшить ризик помилок у критичних застосуваннях.
Що сталося
Компанія протестувала сім моделей — п’ять передових API‑моделей і два відкритих — на 150 елементів, по 25 у кожній категорії. Три провідні моделі (Gemini, Claude, GPT‑4o) отримали загальний бал 0,70–0,79, що значно вище випадкового 20 %. Найвищі результати у підкатегоріях «аналогія» та «обертання» склали лише 0,56. Модель Gemini 3,1 Pro правильно визначила патерн, проте у 85,7 % випадків помилково вибрала відволікаючу відповідь, не помітивши, що різниця полягає лише у орієнтації прапора.
Чому це важливо
Оцінка виявила два окремих вимоги до візуального розуміння: здатність виводити структуру зображення та точно сприймати деталі, необхідні для застосування цього виводу. Gemini 3,1 Pro продемонструвала слабкість у другій вимозі, не розрізняючи дрібну зміну орієнтації прапора, що призвело до високого відсотка вибору відволікаючих відповідей. Клієнти, які використовують візуальну аналітику у медичній діагностиці чи автономному управлінні, можуть зазнати помилок, якщо їх модель має подібні недоліки.
Коли це може допомогти
Якщо клієнт ставить у пріоритет точне розпізнавання дрібних візуальних елементів, результати Innodata можуть слугувати орієнтиром для вибору або доопрацювання моделей, що зменшить ризик помилок у критичних застосуваннях.
Ризики та невідомості
Високий показник вибору відволікаючих відповідей у провідних моделях може підштовхнути ринок до сумнівів у достовірності оцінок Innodata, що може вплинути на її репутацію як постачальника AI‑бенчмаркінгу.
На що варто звернути увагу
Наступні розголошення компанії, зокрема у 10‑Q, можуть містити дані про комерційну реалізацію платформи Agent Personalization Platform і про те, чи почали клієнти її активно використовувати.
Першоджерела
- Beyond the Caption: What Building Our Own Visual-Logic Benchmark Taught Us About Today’s VLMs
- Why Personalization Is a Training Problem for Long-Horizon AI Agents
Як цитувати цей матеріал
Відбиток визначає точну версію кожного оригіналу, на основі якої написано матеріал; сам оригінал лишається в джерелі.
Стежити за Innodata
Сповіщення в браузері чи на телефоні, коли ми пишемо про Innodata. Безкоштовно, без email, акаунта й застосунку.
Матеріал підготував AI на основі офіційних документів компанії; перед публікацією його перевіряють автоматичні перевірки й AI-редактор, і не кожен матеріал читає людина. Це не інвестиційна порада. Редакційні стандарти
