Чат-бот может написать сочинение и поддержать разговор так убедительно, что невольно хочется спросить: а понимает ли он язык так же, как человек? Новое исследование, опубликованное в журнале eLife, предлагает осторожный ответ: когда смысл зависит от порядка слов, мозг и большие языковые модели, похоже, раскладывают фразу по-разному.
Человеческий мозг не просто складывает значения слов, как чеки в кошельке. Он отслеживает грамматику и роли участников: кто совершает действие и на кого оно направлено. Поэтому «собака укусила мужчину» и «мужчина укусил собаку» для нас не одно и то же — хотя набор слов одинаковый.
Исследования мозга уже показывали, что соседние области левой височной коры — участка, участвующего в понимании речи, — отдельно отслеживают того, кто действует, и того, кто принимает действие. У языковых моделей, судя по новой работе, с этим менее уверенно: они хорошо подхватывают слова, но могут недостаточно чутко реагировать на то, кто именно здесь кого укусил.
Откуда взялись сомнения
Большие языковые модели, лежащие в основе ChatGPT, Claude и Llama, обучаются предсказывать пропущенные слова на огромных массивах текстов. Их значения слов и предложений представлены в виде длинных списков чисел — векторов, или эмбеддингов. Эти числовые представления можно сопоставлять с активностью мозга, и прежние исследования действительно находили сходство между ними.
Например, в одной работе сканы мозга слушателей помогали восстановить общий смысл услышанных историй. В исследовании 2021 года векторы трансформеров предсказывали значительную часть мозговой активности при восприятии предложений. Но критики усомнились, означает ли это реальное понимание грамматики. В препринте 2024 года, который не проходил рецензирование, авторы повторного анализа предположили, что результаты могли зависеть от способа разделения данных при проверке и от простого свойства измерений: очередное значение активности часто похоже на предыдущее.
Есть и более общая проблема. В естественных историях разные смыслы обычно выражены разными словами. Модель может успешно сопоставить текст с мозговой активностью, просто узнав лексику или выбрав нужное значение многозначного слова. Чтобы проверить именно грамматическую структуру, исследователям нужно было почти лишить модели этой подсказки.
Эксперимент с перестановкой ролей
Работу провёл Джеймс Фодор из Университета Мельбурна вместе с Карстеном Муравски и Синсукэ Судзуки из Университета Хитоцубаси. Фодор сейчас работает постдокторантом на кафедре машинного обучения Университета Карнеги — Меллона.
Команда составила 108 коротких английских предложений с одной грамматической основой. Каждое исходное событие меняли, добавляя описательные слова, время или место действия либо заменяя существительное или глагол. Например, фразу «оператор камеры принёс оборудование режиссёру» превращали в «режиссёр принёс оператора камеры к оборудованию». Слова почти те же, а роли участников уже поменялись — маленькая грамматическая перестановка с крупными последствиями.
Из 108 предложений составили 5778 уникальных пар. В 918 парах слова в основном совпадали: чтобы различить предложения, приходилось обращать внимание прежде всего на структуру.
Исследователи сравнили четыре подхода. Первый просто усреднял векторы слов и игнорировал порядок. Второй объединял пять моделей, создающих векторы предложений: ERNIE 2.0, AMRBart, SentBERT, DefSent и эмбеддинги OpenAI. Третий представлял предложение как граф смысловых связей — модель Abstract Meaning Representation, или AMR. Четвёртый, гибридный подход использовал GPT-4, чтобы распределить слова по восьми смысловым ролям, включая глагол, действующее лицо, объект действия, время и место. Для каждой роли строились отдельные векторы, а их вес задавался по правилам из предыдущей работы двух авторов. Основные прогнозы исследователи зарегистрировали заранее, а данные и код выложили в открытый доступ.
Что показали сканы
В эксперименте участвовали 39 носителей английского языка в возрасте от 18 до 40 лет. После исключения участников из-за движений головы в сканере или недостаточно хороших результатов в проверке внимания осталось 30 человек. Порог проверки снизили с заранее установленного значения 75% до 70%; это позволило сохранить одного дополнительного участника.
В сканере фМРТ мощностью 7 тесла участники четыре раза читали все 108 предложений и отвечали на 40 вопросов о прочитанном. Функциональная МРТ, или фМРТ, регистрирует изменения кровотока, связанные с работой мозга; данные собирали по крошечным трёхмерным участкам ткани — вокселям. Каждое предложение показывали от двух до семи секунд.
Команда сравнивала рисунки мозговой активности для каждой пары предложений с тем, насколько похожими эти пары считали модели. Основной анализ проводили по средней части трёхсекундного интервала чтения, а не по последним трём секундам, как планировали изначально. Анализ исходного временного отрезка дал похожие, но более слабые результаты. Учёные также учитывали различия в длине предложений и сосредоточились на участках языковой сети мозга и коры за пределами ранних зрительных зон.
На всех 5778 парах, где слова часто различались, все четыре типа моделей положительно совпадали с активностью языковой сети. При сравнении усреднённой модели слов и трансформеров явной статистически значимой разницы не было. Гибридная модель показала небольшое преимущество, а лучше всех с мозговой активностью совпадала графовая модель.
Но на 918 парах с почти одинаковой лексикой картина резко изменилась — именно так, как предсказывали исследователи. Модель, усреднявшая слова без учёта порядка, показала сильную отрицательную связь с активностью языковой сети: для неё предложения с переставленными ролями были почти одинаковыми, а мозг различал их.
Трансформеры превзошли этот простой базовый метод, но их общая связь с мозговой активностью на тех же парах тоже оказалась отрицательной. Гибридная и графовая модели, напротив, показали умеренное положительное совпадение; статистически значимой разницы между ними не обнаружили. Перестановки ролей они считали более серьёзным изменением, чем добавление времени или места действия, — и мозг реагировал похожим образом.
Авторы подчёркивают: вывод не в том, что конкретная гибридная модель победила всех. Её специально настроили на чувствительность к смысловым ролям. Главный результат скромнее и важнее: представления, основанные на усреднении слов или обычных векторах трансформеров, недостаточно чутко отражают, кто что делает и с кем.
Связь была небольшой: примерно −0,05 для усреднённых трансформеров и 0,07 для гибридной модели на парах с одинаковой лексикой. Для шумных данных фМРТ такие значения не удивительны, но общий рисунок повторялся у разных участников.
Модель может ответить правильно, не думая по-человечески
Авторы отдельно проверили слои Llama 3. Лишь второй и третий слои показали слабую положительную связь с мозговой активностью; начиная с четвёртого связь была отрицательной. Если учитывать активность зрительной коры, раннее совпадение резко уменьшалось. По мнению исследователей, оно могло отражать поверхностные особенности текста, например его длину, а не понимание смысла.
В языковой сети мозга структурированные модели лучше всего совпадали с активностью височных областей, хотя и височные, и лобные участки реагировали как на лексику, так и на структуру. Сходство обнаруживалось и за пределами языковой сети, в том числе в сети пассивного режима работы мозга. Правда, у графовой модели наиболее сильное совпадение на парах с одинаковой лексикой пришлось на зрительную кору. Один из рецензентов указал, что это может быть связано с визуальными особенностями предъявленного текста.
На сканах также заметили: сравнительно длинные предложения вызывали похожую активность в нескольких областях независимо от смысла. Возможно, дело в нагрузке на память, более глубокой обработке или общих грамматических ролях. Даже после учёта длины и активности зрительной коры гибридная модель сохраняла положительную связь с мозгом, а трансформеры и модель усреднения слов — отрицательную.
В отдельном онлайн-эксперименте 502 носителя английского из Австралии и США оценивали пары предложений по шкале от 1 до 7; после проверки внимания осталось 486 человек. Средний возраст участников составлял 30 лет. На всех парах трансформеры и усреднение слов лучше всего совпадали с человеческими оценками. Но на 918 парах с почти одинаковым набором слов модель усреднения переместилась на последнее место, а ближе всего к людям оказалась гибридная модель. За ней шли трансформеры и графовая модель. При этом люди считали предложения с переставленными ролями более похожими друг на друга, чем гибридная модель: их оценки находились между оценками трансформеров и гибридной системы.
В дополнительной, заранее не запланированной проверке исследователи попросили GPT-4 напрямую оценить сходство каждой пары от 0 до 1. Ответы GPT-4 лучше совпали с человеческими оценками, чем внутренние векторы любой из проверенных моделей. Это важное различие: модель может воспользоваться грамматикой, чтобы ответить на вопрос о смысле, но её внутренние числовые представления при этом не обязаны организовывать синтаксис и значение так же, как мозг.
Есть и исследования с результатами другого направления. В работе с внутричерепными записями у людей, участвовавших в спонтанном разговоре, активность лобных и височных областей сильнее совпадала с высокоуровневыми семантическими слоями языковых моделей, чем с простыми представлениями отдельных слов. Но там изучали свободную беседу, а не специально сконструированные предложения, в которых можно изолировать влияние порядка слов. Новые результаты также согласуются с исследованием, показавшим, что мозг отслеживает иерархию слов, фраз и предложений даже без статистических подсказок.
Чего это исследование не доказывает
Эксперимент был очень контролируемым: всего 108 коротких предложений с повторяющимися конструкциями — не естественный диалог и уж точно не сложный роман. На всех парах, где лексика менялась естественным образом, трансформеры лучше совпадали с человеческими оценками, а отдельные трансформеры в некоторых сравнениях лучше соотносились с активностью мозга, чем гибридная модель. Но после учёта зрительной активности каждый проверенный трансформер уступал обеим моделям, которые явно кодировали структуру.
Исследователи тестировали главным образом системы для создания векторов предложений, а также Llama 3. Внутреннее устройство чат-ботов вроде GPT-4 и Claude в этой работе не анализировали. Кроме того, человеческие оценки в онлайн-эксперименте почти не коррелировали с фМРТ-данными на парах с одинаковой лексикой. Возможно, дело в том, что участники онлайн-опроса сравнивали предложения рядом, а люди в сканере читали их по одному.
Есть и методические ограничения. Активность мозга усредняли в одном трёхсекундном окне на предложение, хотя в реальности мозг собирает смысл постепенно, слово за словом. Для сравнения векторов и графовых моделей применяли разные математические метрики сходства, а они могут влиять на качество подгонки. Будущим исследованиям предстоит связать внутренние представления моделей с тем, как нейронная активность меняется в реальном времени по мере чтения фразы.
Фодор отдельно уточнил: результаты не показывают, что языковые модели не способны создавать осмысленный текст. Они показывают, что, вероятно, модели понимают язык не так, как люди. Способность выполнить задачу на человеческом уровне ещё не означает, что компьютер делает это человеческим способом. А разница может обернуться неожиданными ошибками, когда систему используют вне условий, на которых она обучалась. Насколько это ограничивает реальные возможности чат-ботов, ещё предстоит выяснить.
Следующий шаг — проверить, как языковые модели представляют более сложные предложения и повествовательные структуры. Простые фразы исследовать было относительно легко. Сложные сюжеты, как водится, решили не облегчать жизнь ни мозгу, ни учёным.