Представьте, что вы смотрите сериал «Чёрное зеркало» – и в одной из серий главный герой учится говорить на чужом языке, просто читая миллион книг подряд. Он начинает улавливать закономерности, строить предложения, угадывать, что будет дальше. Но в какой-то момент оказывается, что он так и не понял одного правила – того самого, которое для носителей языка кажется само собой разумеющимся. Вот примерно это и произошло в одном из свежих лингвистических экспериментов с языковыми моделями на основе GPT-2. Только вместо сериала – научная статья. А вместо героя – нейросеть.
Зачем учить ИИ «падежам» на выдуманном языке?
Начнём с контекста. Лингвисты давно знают, что в языках мира есть удивительная вещь: несмотря на то, что русский, суахили, японский и турецкий возникали независимо друг от друга на разных континентах, в них регулярно появляются похожие грамматические паттерны. Называют это лингвистическими универсалиями – то есть закономерностями, которые встречаются в языках гораздо чаще, чем можно объяснить случайностью.
Один из таких паттернов – дифференциальное маркирование аргументов. Звучит страшно, но на деле это про очень знакомую вещь. Вспомните, как в русском языке мы говорим «вижу тебя» (с падежным окончанием) и «вижу стол» (форма совпадает с именительным). Или в турецком языке винительный падеж появляется только у одушевлённых или определённых существительных. По-английски это почти незаметно, но во многих языках работает именно так: специальный маркер появляется не у всех слов подряд, а только у «особых» – тех, что выбиваются из привычного расклада.
Что значит «выбивается из расклада»? Давайте на примере. Обычно в предложении субъект (тот, кто действует) – одушевлённый: человек, кот, персонаж. А объект (тот, на кого направлено действие) – чаще неодушевлённый: стол, яблоко, камень. Когда вдруг объектом оказывается живое существо – это нетипично. И именно такие нетипичные случаи языки склонны «помечать» специальным маркером, как бы говоря: «Эй, тут что-то необычное, обрати внимание!»
Исследователи задались вопросом: а воспроизводит ли эту логику искусственный интеллект? Не конкретный язык – а саму идею маркировать нетипичное? И если да – то всё ли он усваивает так же, как люди?
Эксперимент: 18 выдуманных языков и одна нейросеть
Чтобы ответить на этот вопрос чисто и без лишних переменных, исследователи пошли на хитрость: они не стали обучать модель на реальных языках – русском, турецком, хинди. Вместо этого они сконструировали 18 синтетических языков – полностью искусственных, как в лингвистическом мысленном эксперименте.
Каждый из этих языков имел свою логику маркирования. В одних маркер ставился на объект, в других – на субъект. В одних маркировалось «нетипичное» (например, одушевлённый объект), в других – наоборот, «типичное» (неодушевлённый объект). Порядок слов тоже варьировался: часть языков строила предложения по принципу «Субъект – Глагол – Объект» (как в русском и английском), часть – по принципу «Субъект – Объект – Глагол» (как в японском или турецком).
Маркеры в этих языках были намеренно абстрактными – просто буквы «X» или «Y», прикреплённые к слову. Никакого смысла, никакой этимологии. Только позиция и контекст. Как будто кто-то взял грамматику, вынул из неё всё «человеческое» содержание и оставил только структуру.
На каждом из этих 18 языков обучили отдельную версию GPT-2 medium – это модель с 345 миллионами параметров, достаточно мощная, чтобы улавливать тонкие закономерности. Каждая версия «читала» миллион предложений на своём синтетическом языке на протяжении десяти эпох обучения.
После обучения модели проверяли с помощью минимальных пар – это такой классический лингвистический приём: берёшь два почти идентичных предложения, которые отличаются ровно одной деталью (в данном случае – наличием или отсутствием маркера), и смотришь, какое модель считает более «правдоподобным». Если модель хорошо усвоила правило – она должна уверенно предпочитать правильный вариант.
Что получилось: две находки, одна из которых – сюрприз
Находка первая: ИИ понимает логику «помечать необычное» ✓
Первый результат оказался обнадёживающим. Модели действительно усвоили логику «естественного направления маркирования» – то есть идею, что маркер должен появляться именно там, где что-то нетипично.
Если в языке маркировался одушевлённый объект (нетипичный случай – объекты обычно неодушевлённые), модель уверенно предпочитала маркированный вариант. Если язык был «перевёрнутым» – маркировал неодушевлённые объекты или одушевлённых субъектов как типичных, – модели давались труднее: они хуже обобщали правило и чаще «сомневались».
Это красиво совпадает с тем, что мы знаем о реальных языках. В языках мира маркирование почти всегда «указывает» на нечто необычное – как восклицательный знак в тексте: ставить его после каждого слова бессмысленно, но поставить там, где действительно важно, – это и есть функция маркера. Нейросеть, по сути, «переоткрыла» этот принцип самостоятельно, просто читая предложения без каких-либо объяснений.
Это любопытно само по себе: модель не получала никаких инструкций вроде «маркируй нетипичное». Она просто видела паттерны – и у неё формировалось внутреннее «ощущение», что одни системы маркирования «логичнее» других. Почти как ребёнок, который никогда не читал учебник грамматики, но интуитивно чувствует, что «я видел ему» звучит неправильно.
Находка вторая: ИИ не «видит» кое-что важное ✗
А вот второй результат оказался неожиданным – и именно он делает это исследование по-настоящему интересным.
В человеческих языках системы дифференциального маркирования гораздо чаще маркируют объекты, а не субъекты. Это устойчивая тенденция, которую лингвисты наблюдают по всему миру: если язык решает «пометить» что-то – почти всегда это окажется объект. Субъекты маркируются значительно реже.
Почему так в человеческих языках? Одна из популярных гипотез: субъект – это обычно агент, «деятель», и понять, кто что делает, критически важно для смысла предложения. Поэтому именно объект чаще нуждается в уточнении – он «неожиданный гость» в предложении, которого стоит обозначить явно.
Так вот: GPT-2 эту тенденцию не воспроизвёл. Модели одинаково хорошо (или одинаково плохо) справлялись с усвоением и систем маркирования объекта, и систем маркирования субъекта – при условии, что оба варианта следовали логике «маркировать нетипичное». Никакого статистически значимого предпочтения в сторону объектов обнаружено не было.
Если использовать аналогию: представьте, что вы учите ребёнка правилам дорожного движения исключительно на картинках, без объяснений. Он быстро поймёт, что красный свет – это «стоп», а зелёный – «иди», потому что контраст очевиден. Но он может не понять, почему пешеходный переход нарисован именно перед перекрёстком, а не после – это требует понимания более глубокой логики: кто кому уступает и почему. GPT-2 усвоил «красный – стоп», но не понял, почему переход именно здесь.
Почему это важно: о чём говорит разрыв
Исследователи называют это явление диссоциацией – когда две вещи, которые у людей идут «в связке», у модели оказываются независимы. И это не просто техническая деталь. Это намёк на нечто фундаментальное.
Предпочтение «маркировать нетипичное» – это, по сути, принцип информативности. Маркируй то, что неожиданно; то, что ожидаемо, можно не объяснять. Этот принцип напрямую работает с вероятностями и частотами – а именно с этим работает языковая модель. Она обучается предсказывать следующее слово, и нетипичные комбинации по определению труднее предсказать. Поэтому имеет смысл, что модель «замечает» их и начинает относиться к ним как к особым случаям.
А вот предпочтение объекта – это уже другая история. Оно, по всей видимости, связано не просто с частотами, а с более глубокими коммуникативными и, возможно, когнитивными причинами: с тем, как люди выстраивают внимание в дискурсе, кого считают «деятелем» по умолчанию, как распределяют роли в событии. Всего этого в синтетических предложениях формата «Субъект – Глагол – Объект» с абстрактными маркерами просто нет.
Это не значит, что модель «плохая». Это значит, что разные лингвистические универсалии имеют разные источники. Одни вырастают из статистики и частот – и их ИИ усваивает естественно. Другие вырастают из когнитивных и социальных механизмов, которые у людей формировались тысячелетиями, – и для их усвоения одних текстов недостаточно.
Это немного похоже на то, как нейросеть может научиться рисовать «в стиле Малевича» по примерам его работ – и у неё будут квадраты, и цвета, и минимализм. Но она не «понимает», почему чёрный квадрат в 1915 году был жестом – потому что у неё нет контекста: что было до, что было после, что это значило для людей того времени.
Порядок слов тут ни при чём
Отдельно стоит упомянуть один приятный контрольный результат: порядок слов не повлиял на то, как модели усваивали маркирование. Языки типа «Субъект – Глагол – Объект» и языки типа «Субъект – Объект – Глагол» давали примерно одинаковые результаты.
Это говорит о том, что эффекты, которые наблюдали исследователи, действительно связаны с семантикой – с одушевлённостью и типичностью аргументов – а не с тем, в каком порядке слова стоят в предложении. Поверхностная структура предложения здесь второстепенна; важна смысловая роль слова.
Что это значит для понимания ИИ и языка
Это исследование – часть большой и важной дискуссии, которая разгорелась особенно активно после 2020 года, когда мощные языковые модели стали доступны широкой аудитории. Вопрос звучит примерно так: понимают ли языковые модели язык – или только имитируют его?
Ответ, который предлагают авторы этой работы, более тонкий: модели усваивают то, что можно усвоить из распределения слов и контекстов. Принципы, которые напрямую «зашиты» в статистику языка – такие как «маркируй нетипичное» – они улавливают неплохо. Принципы, которые требуют понимания социального контекста, коммуникативных ролей и эволюции языка – такие как «объекты маркируются чаще субъектов» – им даются сложнее или вовсе не даются.
Интересно, что предпочтение маркировать объекты, а не субъекты в реальных языках появлялось не в один день. Это результат тысячелетий языковой эволюции, давления коммуникации, социальных конвенций. В синтетическом корпусе из миллиона предложений этой истории нет. Неудивительно, что модель её не усвоила.
С другой стороны, тот факт, что модель вообще воспроизвела какие-то типологические универсалии – без специального обучения, без инструкций, просто из текста – это само по себе примечательно. Это значит, что часть того, что мы считаем «человеческими» свойствами языка, на самом деле вытекает из очень общих статистических принципов. А не только из биологии или культуры.
Что дальше?
Авторы указывают на несколько направлений для продолжения работы. Первое – усложнить синтетические языки: добавить дискурсивный контекст, несколько участников ситуации, цепочки событий. Возможно, именно в таких условиях модель начнёт «видеть» разницу между субъектом-агентом и объектом-пациентом так, как её видит человек.
Второе направление – изучить, как меняется картина при обучении на реальных языках: турецком, финском, хинди, где дифференциальное маркирование хорошо задокументировано. Синтетические данные дают контроль, но теряют богатство. Реальные языки дают богатство, но теряют чистоту эксперимента. Где-то между этими подходами, вероятно, и скрывается ответ.
И третье – проверить, не является ли отсутствие предпочтения объекта чем-то специфичным именно для архитектуры GPT-2, или это более общее свойство трансформерных моделей. Возможно, более крупные модели или модели с другой архитектурой справятся иначе.
Пока же вывод такой: языковые модели – это не просто «попугаи», которые повторяют текст. Но и не люди, которые понимают язык изнутри. Они где-то посередине – и именно это «где-то посередине» стоит изучать внимательно. Потому что в этом пространстве скрыты самые интересные вопросы о том, что такое язык, понимание и интеллект.
