Вся правда об ИИ: продвинутый, всемогущий? Как бы не так…
Знаете, как сейчас модно вписывать искусственный интеллект во все области жизни, а самых последних чат-ботов объявлять чуть ли не цифровыми ораклами? А вот не тут-то было. Даже если вы — GPT-4o или Claude 3.5 Sonnet, последний писк технологий, еще не факт, что получится пройти самый банальный тест, который дети осваивают в школе. Вот доказательство, свежее исследование, опубликованное в журнале PNAS Nexus.
"Сконцентрируйся и не сбейся!" — слишком сложная задача для ИИ
Учёные поставили перед топовыми языковыми моделями классическую задачу — тест Струпа. Для тех, кто не в теме: тест простой, как две копейки, но коварный. На экране появляется слово, написанное, скажем, синим цветом, но текст — «ЖЁЛТЫЙ». Нужно не читать слово (как большинство делают автоматически), а назвать цвет, которым оно написано. Для человеческого мозга задача требует внимания, сдержанности и даже внутреннего «стоп-слова». Всё это звучит просто, пока не попробуешь сам.
ИИ, как выяснилось, слову «сдержанность» так и не научился. Пока список слов короткий — дай бог, справляется. Достаточно добавить ещё несколько — и… катастрофа. GPT-4o ещё держится на пяти словах в списке, но уже на двадцати обрушивается в пропасть ошибок. Claude 3.5 Sonnet, конечно, не из робкого десятка, но на сорока словах краснеет: точность падает до 10%. Зато стоит заменить текст слов на простое "XXXX", и ИИ вдруг опять становится гением.
Почему ИИ так сыпется на "детских" задачах?
Причина — в самом сердце его архитектуры. Тот самый пресловутый «attention mechanism» (механизм внимания), которому разработчики поют дифирамбы, оказывается, годится только для мягкой корректировки, а не для реального управления процессом. Удивлены? Нет, потому что как ни масштабируй модели, без настоящей "силы воли" — executive control (исполнительского контроля), как у человека, ничего не выйдет.
Учёные заметили, что как только ситуация требует фильтровать автоматические привычки — например, не читать слово, а назвать цвет — ИИ сдаёт позиции. Он обратно уходит в родную стезю: читать, что написано, и всё тут. О построении сложных умственных баррикад речи не идёт.
Программисты пытаются склеить искусственный мозг программными костылями
Под чутким руководством Сукету Пателя, студентов университета Нью-Йорка, был проведён этот эксперимент эпохального масштаба. Иногда разработчики ИИ подслащают пилюлю: встраивают специальные надстройки, которые пытаются имитировать контроль над "автоматизмами" языка. Но это — классическая история про пластырь на бетонной плите: проблема сдержанности и конфликта решений исчезает только внешне.
Стоит дать команде ИИ использовать дополнительный код — задачу он решит. Но учёные тут же заявляют: это уже не честная игра, а обход правил. Ведь истинная способность внимание переключать и удерживать задаётся не хитрозадой программой, а самой структурой мозга (или его аналога).
Человеческий мозг всё ещё на голову выше, и это не игра слов
Вы думаете – ну подучится ИИ, зальём данных побольше, натренируем ещё тысячей-другой вариантов — и догонит человека? Удивим: это не работает. Компьютер может и запомнить узкую задачу, но вот универсальная "сила воли", благодаря которой человек справляется с самыми разными конфликтами, так пока и не создаётся искусственно. Да и вообще, не так много задач, где привычное действие настолько мощно "подрывает" нужный ответ, как в тесте Струпа.
Учёные честно предупреждают: если мы хотим по-настоящему умный ИИ, те самые "когнитивные предохранители" придётся встраивать специально. Пока же шум вокруг искусственного интеллекта отчётливо напоминает рекламу средств от облысения на Первом канале.
Так что не спешите верить легендам про скорое цифровое сверхсущество. Даже самые дорогие языковые модели пока обламываются на тестах, которые психологи придумали ещё до Второй мировой войны.