Почему ИИ не умеет «читать» мир так, как это делает человек

Представьте, что вы смотрите на фотографию уличного кафе. Столики на тротуаре, вывески, характерная архитектура – и вы почти сразу чувствуете: это Париж или, возможно, Рим. Мозг улавливает десятки мелких деталей одновременно и складывает из них целостную картину. Современные ИИ-системы, которые умеют «смотреть» на изображения и отвечать на вопросы о них, тоже научились делать нечто похожее. Но насколько хорошо они справляются, когда картинка намеренно вводит в заблуждение?

Именно этим вопросом задались исследователи, представившие свою работу на CVPR – одной из ключевых конференций в области компьютерного зрения. Они решили проверить так называемые визуальные языковые модели (VLM): системы, которые одновременно воспринимают изображения и текст, а затем отвечают на вопросы, описывают сцены или рассуждают о содержимом фото.

Что такое VLM и зачем проверять модели ИИ на устойчивость

Что такое VLM и зачем их проверять на устойчивость

Проще говоря, VLM – это ИИ, который умеет не просто читать текст, но и «смотреть» на картинки. Вы показываете ему фотографию и спрашиваете: «Что здесь изображено?» или «В какой стране это снято?» – и модель отвечает.

Такие системы уже используются в самых разных сценариях: от помощи незрячим людям в описании окружающей среды до автоматической обработки документов с иллюстрациями. Чем шире область применения, тем важнее понимать, где именно модель может ошибиться – и особенно в каких ситуациях её легко сбить с толку.

Устойчивость модели – это её способность давать правильные ответы даже тогда, когда входные данные слегка изменены или содержат «помехи». Если небольшое изменение в картинке или подписи резко меняет ответ модели, это сигнал: система не понимает суть, а опирается на поверхностные признаки.

Как VLM ошибаются при ложных ориентирах

Туристы с плохой ориентацией

Авторы исследования сформулировали проблему образно, но точно: VLM ведут себя как растерянные туристы. Они могут многое знать о мире в целом, но теряются, когда привычные ориентиры оказываются не на своём месте.

Для проверки этой идеи исследователи создали специальный набор тестов – своего рода «культурный стресс-тест». В его основе лежит идея подмены географических подсказок: моделям показывали изображения с визуальными или текстовыми элементами, намеренно создающими ложное впечатление о локации. Например, фотография с характерными культурными маркерами одной страны могла сопровождаться подсказками, указывающими на совершенно другой регион.

Цель была простой: посмотреть, удастся ли модели сохранить верное суждение, когда вокруг – намеренно искажённый контекст. Устоит ли она перед ложными подсказками или последует за ними?

Результаты тестирования устойчивости VLM к культурным подменам

Что показали результаты

Результаты оказались показательными. Визуальные языковые модели демонстрировали заметную нестабильность именно там, где речь шла о культурных и географических признаках. Стоило слегка изменить контекст – добавить вводящий в заблуждение текст, подменить фоновые детали или смешать визуальные сигналы из разных культур – и модели начинали ошибаться.

Это означает, что многие VLM воспринимают культурный контекст не как целостное понимание, а как набор поверхностных паттернов. Они как бы «выучили наизусть», что определённые визуальные элементы ассоциируются с определёнными местами, но не выстроили более глубокой логики – той, которая позволяла бы не поддаваться на манипуляцию.

Человек в аналогичной ситуации, скорее всего, заметил бы противоречие: «Подождите, архитектура явно не отсюда, что-то тут не так». Модели же нередко следовали за подброшенной подсказкой, не замечая несоответствия.

Почему устойчивость VLM важна для реальных приложений

Почему это важно за пределами тестовой среды

Можно подумать: ну и что, это же лабораторный эксперимент. Но на практике подобные ситуации встречаются значительно чаще, чем кажется.

Возьмём, к примеру, системы модерации контента, которые анализируют изображения вместе с текстовыми подписями. Или приложения, помогающие пользователям ориентироваться в незнакомых местах по фотографиям. Или туристические и образовательные сервисы, опирающиеся на автоматическое распознавание культурного контекста. Во всех этих случаях устойчивость к намеренно или случайно искажённым подсказкам – это не академическая проблема, а вполне прикладная.

Кроме того, исследование поднимает более широкий вопрос о том, как именно модели «понимают» культуру. Точнее – понимают ли они её вообще или просто хорошо запомнили статистические связи между визуальными элементами и географическими названиями? Судя по результатам, скорее второе.

Набор тестов для оценки культурной устойчивости VLM

Набор тестов как инструмент для индустрии

Помимо самих выводов, исследователи предложили кое-что практически ценное: структурированный набор тестов для оценки культурной устойчивости VLM. Проще говоря – готовый инструмент, с помощью которого разработчики могут проверять свои модели на подобные уязвимости.

Это важно, потому что в индустрии пока нет единого стандарта для такого рода оценок. Большинство существующих бенчмарков проверяют, правильно ли модель распознаёт объекты или отвечает на вопросы по содержимому изображения. Но мало кто систематически проверяет, что происходит, когда входные данные намеренно искажены именно в культурном и географическом измерении.

Появление такого инструмента – шаг к тому, чтобы разработчики начали включать подобные проверки в стандартный процесс тестирования своих систем.

Открытые вопросы в исследовании устойчивости визуальных моделей ИИ

Открытые вопросы

Работа честно обозначает и то, что остаётся за кадром. Исследование сосредоточено на конкретном типе уязвимости – географических и культурных подсказках. За скобками остаются другие виды «сбивающего с толку» контекста, а также вопрос о том, как именно дообучить модели, чтобы они стали более устойчивыми в этом отношении.

Также открытым остаётся вопрос о природе самой проблемы: это недостаток данных при обучении, особенность архитектуры или что-то более фундаментальное, связанное с тем, как вообще работает «понимание» у нейросетей? Исследование скорее точно диагностирует болезнь, чем предлагает лечение – но хорошая диагностика часто и есть первый необходимый шаг.

В конечном счёте, эта работа напоминает: ИИ-системы, которые кажутся уверенными и компетентными, могут опираться на более хрупкие основания, чем кажется снаружи. И чем шире они применяются в реальном мире – тем важнее понимать, где именно эта хрупкость проявляется.