Когда компании выпускают ИИ-инструменты для науки, они обычно рассказывают об их возможностях: что система умеет, какие задачи решает, насколько она точна. Однако вопрос о том, как учёные на самом деле используют эти инструменты в повседневной работе, остаётся без ответа. Специалисты из Allen AI решили разобраться в этом и опубликовали анализ более 250 000 реальных запросов к своим научным ИИ-инструментам.
Allen AI – некоммерческая исследовательская лаборатория, которая разрабатывает ИИ-инструменты специально для научного сообщества. Среди них – Semantic Scholar (поисковик по научным статьям) и несколько специализированных сервисов, помогающих исследователям работать с литературой.
Набор данных, который они назвали ASTA (Academic Search and Task Analysis), охватывает запросы реальных пользователей – учёных, студентов, аналитиков. Проще говоря, это не синтетические данные и не лабораторные тесты: это то, что люди действительно вводили, когда им нужна была помощь с научными текстами.
Почему это ценно? Потому что разработчики ИИ-инструментов часто строят системы, исходя из предположений о том, как ими будут пользоваться. А реальность нередко оказывается иной. Анализ реальных запросов – способ сверить ожидания с действительностью.
Что люди на самом деле спрашивают
Первое, что бросается в глаза: большинство запросов не выглядят как поисковые фразы, например, «найди статью про X». Люди формулируют задачи – развёрнуто, с контекстом, иногда почти как письмо коллеге.
Исследователи выделили несколько основных типов взаимодействия:
- Поиск литературы – найти работы по теме, часто с конкретными условиями: временной период, методология, область применения.
- Понимание и объяснение – «объясни, что значит этот термин», «в чём разница между этими подходами», «кратко изложи суть статьи».
- Сравнение и синтез – «как разные исследователи подходят к этой проблеме», «что говорит литература по этому вопросу в целом».
- Помощь с написанием – формулировки, структура, поиск подходящих цитат.
Это важное наблюдение: люди воспринимают научные ИИ-инструменты не как поисковики, а скорее как думающего ассистента, которому можно объяснить задачу и получить осмысленный ответ. Разница принципиальная – и она влияет на то, как нужно строить такие системы.
Запросы сложнее, чем кажется
Ещё один важный вывод: значительная часть запросов многосоставная. Пользователь не просто ищет статью – он хочет найти статью, понять её место в контексте области и получить краткое резюме. Всё за один раз.
Это создаёт реальную сложность для ИИ-систем. Обработать одиночный чёткий запрос – задача понятная. Но когда человек формулирует что-то вроде «покажи мне последние работы по теме X, объясни основные разногласия в этой области и помоги понять, стоит ли мне читать статью Y» – это уже целый набор подзадач, требующих разных навыков.
Судя по данным, именно такие комплексные запросы составляют заметную долю реального использования. А значит, инструменты, заточенные только под простой поиск, не закрывают реальные потребности учёных.
Кто пользуется и как это выглядит на практике
Аудитория инструментов оказалась шире, чем можно было ожидать. Наряду с опытными исследователями активно пользуются системой студенты и люди, только входящие в новую для себя область знаний. Для них ИИ-инструмент часто становится первой точкой входа – способом быстро сориентироваться в незнакомой теме, прежде чем углубляться в чтение.
Это меняет угол зрения на то, для кого вообще делаются такие инструменты. Если раньше можно было предположить, что ими пользуются в основном эксперты, которым нужно быстро найти нужную статью, – реальность сложнее. Значительная часть пользователей находится в процессе обучения, и им нужна не просто выдача релевантных документов, а помощь в понимании.
Что это значит для разработчиков ИИ-инструментов
Allen AI публикует этот набор данных в открытом доступе – и это, пожалуй, главная практическая ценность публикации. Любая команда, которая разрабатывает инструменты для работы с научными текстами, теперь может опираться на реальные паттерны использования, а не строить гипотезы.
Выводы, которые здесь напрашиваются, довольно конкретны:
- Инструменты должны уметь обрабатывать сложные, многосоставные запросы – не только простые поисковые фразы.
- Объяснение и синтез – не дополнительные функции, а базовые потребности пользователей.
- Значительная часть аудитории – не эксперты, а люди, которые только разбираются в теме. Интерфейс и логика ответов должны это учитывать.
Проще говоря: если делать научный ИИ-ассистент, исходя из того, как учёные реально с ним работают, – это один продукт. Если исходить из предположений – скорее всего, другой, и не факт что полезный.
Открытые вопросы
При всей ценности данных, у этого исследования есть естественные ограничения. Запросы собраны на конкретных платформах Allen AI – а значит, выборка отражает именно эту аудиторию и эти инструменты. Поведение пользователей других систем может отличаться.
Кроме того, анализ показывает что люди спрашивают, но не всегда объясняет почему именно так. Почему одни предпочитают развёрнутые запросы, а другие – короткие? Насколько формулировка зависит от привычки, интерфейса или предыдущего опыта с ИИ? Эти вопросы остаются открытыми.
Но даже с этими оговорками – иметь 250 000 реальных примеров того, как учёные взаимодействуют с ИИ, это уже значительно лучше, чем строить системы в условиях информационного вакуума. Такие данные постепенно смещают разработку от интуиции к доказательной базе – и это, пожалуй, именно то направление, в котором стоит двигаться.
