Исследователи разбирают по косточкам громкое научное исследование. То самое, которое заявляло, что искусственный интеллект способен действительно симулировать человеческое мышление? Похоже, у него просто была отличная память.
В первоначальной статье, опубликованной в журнале Nature в 2025 году, делались смелые заявления. Языковая модель под названием Centaur могла «предсказывать и симулировать человеческое поведение». Точность достигала 64% по результатам различных психологических тестов. Звучит впечатляюще. Это создает впечатление, что машина понимает процесс принятия решений. Она была обучена на более чем 10 миллионах человеческих выборов в рамках 160 различных экспериментов с участием 60 000 человек.
Однако статья в журнале National Science Open от января 2026 года называет эти заявления вводящими в заблуждение. Центавр не мыслит. Он страдает от переобучения.
Здесь главным врагом является переобучение.
Это происходит, когда ИИ учит тренировочные данные слишком буквально. Вместо того чтобы осваивать концепцию, он заучивает конкретные паттерны в этом наборе данных. На знакомых данных он справляется блестяще, но на любых новых — ломается. Это своего рода чит-код для тестов, которые вы уже проходили.
Най Дин, профессор Чжэцзянского университета, сравнил это со студентом, который зубрит материал перед экзаменом.
«Если студент чрезмерно подготовлен, он учит трюки для угадывания ответов, не понимая суть материала», — написал Дин. Если тест и тренировочные задания используют одни и те же статистические лазейки, обман остается незамеченным. Оценки выглядят хорошо. Понимание? Нулевое.
Тест «Выбери вариант А»
Дин и его коллега Вэй Лю решили это проверить.
Они не просто задавали Центавру новые вопросы. Они изменили подсказку (промпт), добавив прямую команду: «Выберите вариант А».
Простая инструкция. Четкий замысел.
Если бы модель действительно понимала задачу, она должна была бы выбирать А каждый раз. Даже если А — неверный ответ. Особенно если А неверен, чтобы доказать, что она следует инструкциям, а не опирается на прежние знания.
Центавр продолжал выбирать «верный» ответ. Тот самый, что был в исходном тренировочном наборе. Не А.
Это свидетельствует о том, что он не рассуждал. Он воспроизводил статистические «призраки».
«Высокие показатели сами по себе не раскрывают механизм работы».
Дин попал в точку. Высокие баллы могут маскировать отсутствие реального понимания. Это ставит вопрос: подходим ли мы к жесткому потолку для ИИ?
Некоторые считают, что да. Исследование, проведенное в феврале, утверждало, что у современных языковых моделей в архитектуре заложены фундаментальные ошибки логического вывода. Они не способны к целостному планированию. Они не умеют мыслить глубоко.
Крис Берр из Института Алана Тьюринга указал, что текущие бенчмарки поощряют распознавание паттернов. Модели создаются для подгонки, а не для понимания.
«Показатели заголовков поощряют соответствие… а не глубокое понимание».
Модель может идеально имитировать когнитивные процессы, не обладая ими вовсе. В лучшем случае Центавр продемонстрировал «бихевиористские доказательства» работы с крошечным фрагментом языка. Это выглядело как мышление. Оно ощущалось как понимание. Но это было лишь снижение уровня шума.
Не раскрытая тайна
Однако есть одно осложнение.
У первоначальных исследователей оставался один козырь. Центавр сделал что-то неожиданное. Он предсказал поведение на 10% данных, которые не использовались для обучения. Это были скрытые данные. Новые сценарии, которые он не мог «заучить».
Критика Дина и Лю не полностью разобрала этот аспект.
Берр отмечает, что более широкая концепция не опровергнута. В неизменных контекстах Центавр все равно превосходит другие модели. Бремя доказательств сместилось, но тайна работы со скрытыми данными остается нераскрытой.
Почему он сработал на тестовом наборе, если он всего лишь переобученный запоминалка?
Пока мы этого не знаем.
Почему важны стресс-тесты
Речь не идет о полном дискредитировании Центавра. Вопрос в том, как мы определяем успех.
«Нам нужно различать «выполнение задачи» и «выполнение задачи по правильным причинам»».
Это различие имеет решающее значение, если мы хотим создать настоящие когнитивные модели, а не просто изощренные инструменты автозаполнения.
Дин настаивает на необходимости тестирования моделей на типах знаний, подобных тем, что использовались при обучении, но явно не включенных в тренировочный набор. Если модель проваливается, она — подделка. Если справляется, возможно, у нас есть что-то стоящее.
Без таких стресс-тестов мы делаем неверные выводы. Мы предполагаем, что проблема человеческого познания решена. Но это не так. Оставшиеся проблемы есть. И они сложные.
Авторов оригинального исследования в Nature попросили прокомментировать эти новые открытия.
Редакция Live Science не получила ответа. Тишина в эфире.
