Культурная адаптация
Без жаргона
Доступность
Представьте, что у вас есть очень умный друг, который знает практически всё, но информация в его голове застряла где-то в прошлом году. А теперь дайте ему смартфон с доступом в интернет. Звучит как идеальное решение? Не всё так просто.
Именно так работают современные ИИ-помощники с поддержкой веб-поиска. Они берут мощь больших языковых моделей и добавляют к ней свежую информацию из интернета. Но что происходит, когда такие системы встречаются с реальными пользователями? Оказывается, довольно неожиданные вещи.
Что такое Search Arena и зачем это изучать
Большинство исследований ИИ похожи на изучение поведения людей в лаборатории – искусственная среда, простые вопросы, идеальные условия. Но реальная жизнь сложнее. Люди задают многоступенчатые вопросы, переключаются между языками, хотят не просто факты, а анализ и рекомендации.
Search Arena – это попытка посмотреть на ИИ глазами настоящих пользователей. Исследователи собрали более 24 000 реальных диалогов с ИИ-системами, которые умеют искать в интернете, и попросили пользователей оценить качество ответов. Получился своеобразный «YouTube для ИИ-ответов» – только вместо лайков и дизлайков люди выбирали, какой ответ лучше.
Во что превращаются наши вопросы к ИИ
Если вы думаете, что люди в основном спрашивают у ИИ «Какая столица Франции?», то вы сильно ошибаетесь. Только 19% вопросов были простыми фактическими запросами. Остальные 81% – это просьбы проанализировать, объяснить, порекомендовать или даже создать что-то новое.
Люди просят ИИ написать сатирический текст о политике, помочь с кодом, объяснить сложную научную концепцию или посоветовать, куда поехать в отпуск. Причём 22% диалогов состоят из нескольких сообщений – люди уточняют, переспрашивают, развивают тему.
И это многоязычная история: хотя 58% диалогов на английском, встречаются более 70 языков. 12% – на русском, 7% – на китайском, а 11% вообще смешивают несколько языков в одном разговоре.
Магия ссылок: почему больше значит лучше
Самое интересное открытие касается того, как люди воспринимают достоверность. Помните фразу «доверяй, но проверяй»? Оказывается, большинство людей остановились на первой части.
Пользователи значительно чаще выбирают ответы с большим количеством ссылок – даже если эти ссылки не подтверждают сказанное в ответе. Это как если бы вы поверили человеку только потому, что он размахивает стопкой документов, не заглядывая в них.
Более того, люди предпочитают одни источники другим, и их выбор может вас удивить:
Любимчики пользователей:
- Stack Overflow и другие технические платформы
- Личные блоги и Substack
- Даже TikTok!
Аутсайдеры:
- Википедия (да, та самая энциклопедия, которую считают эталоном)
- Официальные энциклопедические источники
Получается парадокс: люди больше доверяют мнению блогера, чем проверенной энциклопедической статье. Это примерно как предпочесть совет случайного прохожего рекомендации врача.
Длина имеет значение
Ещё одна закономерность: люди предпочитают развёрнутые ответы. Для креативных запросов средняя длина предпочитаемого ответа – 422 слова, для фактических – 168 слов.
Это логично для творческих задач, но создаёт проблему для простых вопросов. Представьте, что на вопрос «Сколько будет 2+2?» вы получите трёхстраничное эссе об истории арифметики. Информативно, но избыточно.
Когда поиск помогает, а когда мешает
Исследователи сравнили, как работают ИИ с доступом в интернет и без него в разных ситуациях. Результаты оказались неоднозначными.
В обычных условиях (когда люди не ожидают использования поиска) ИИ с интернетом работает не хуже обычного. Это хорошая новость – дополнительные возможности не портят базовую функциональность.
В поисковых сценариях (когда людям нужна свежая информация) ИИ без интернета значительно проигрывает. Это ожидаемо – попробуйте найти информацию о вчерашних новостях в голове, которая обновлялась месяц назад.
Исключение: обработка текста. Здесь ИИ без поиска часто лучше – он меньше отвлекается на посторонние источники и даёт более структурированные ответы.
Опасная иллюзия компетентности
Самое тревожное открытие исследования – люди плохо различают качественные и некачественные ссылки. Ответ с тремя нерелевантными источниками может показаться более надёжным, чем ответ без ссылок, но основанный на достоверных знаниях.
Это создаёт идеальные условия для манипуляций. Недобросовестные системы могут получать высокие оценки, просто добавляя больше ссылок, даже случайных. Пользователи получают ложное чувство уверенности в информации.
Представьте студента, который украшает свою курсовую работу кучей сносок на случайные статьи. Профессор может и не проверить каждую ссылку, но количество произведёт впечатление. Примерно так работает и восприятие ИИ-ответов.
Уроки для будущего
Search Arena показывает, что создание хорошего ИИ-помощника – это не только техническая, но и психологическая задача. Недостаточно сделать систему точной и быстрой. Нужно учитывать, как люди воспринимают информацию, чему доверяют и что их убеждает.
Возможные направления улучшения:
Для разработчиков: Учить ИИ не просто находить ссылки, а объяснять их релевантность. Добавить индикаторы качества источников.
Для пользователей: Развивать цифровую грамотность. Учиться проверять источники, а не просто считать их количество.
Для исследователей: Изучать не только техническое качество ответов, но и их психологическое воздействие.
Заключение
ИИ с доступом в интернет – мощный инструмент, который может значительно улучшить качество ответов на современные вопросы. Но, как и любой инструмент, он требует умелого использования.
Главный урок Search Arena: пользователи оценивают не только правильность ответа, но и его форму подачи. Количество ссылок, длина текста, источники информации – всё это влияет на восприятие, иногда сильнее самого содержания.
ИИ действительно как ребёнок: он повторяет наши предрассудки и учится на наших реакциях. Если мы будем поощрять форму в ущерб содержанию, именно этому он и научится. Поэтому важно не только совершенствовать технологии, но и воспитывать критическое мышление у их пользователей.
В конце концов, самый умный ИИ не заменит здравый смысл. А пока мы этому учимся, стоит помнить: если что-то выглядит слишком убедительно, возможно, стоит присмотреться повнимательнее.
