Дослідники розбирають по кісточках гучне наукове дослідження. Те саме, яке заявляло, що штучний інтелект здатний справді симулювати людське мислення? Схоже, у нього була чудова пам’ять.
У початковій статті, опублікованій у журналі Nature у 2025 році, робилися сміливі заяви. Мовна модель під назвою Centaur могла «пророкувати та симулювати людську поведінку». Точність сягала 64% за результатами різних психологічних тестів. Звучить вражаюче. Це створює враження, що машина розуміє процес ухвалення рішень. Вона була навчена на понад 10 мільйонах людських виборів у рамках 160 різних експериментів за участю 60 000 осіб.
Однак стаття в журналі National Science Open від січня 2026 року називає ці заяви такими, що вводять в оману. Центавр не мислить. Він страждає від перенавчання.
Тут головним ворогом є перенавчання.
Це відбувається, коли ІІ вчить тренувальні дані занадто буквально. Замість того, щоб освоювати концепцію, він заучує конкретні патерни в цьому наборі даних. На знайомих даних він справляється блискуче, але на будь-яких нових ламається. Це своєрідний чит-код для тестів, які ви вже проходили.
Най Дін, професор Чжецзянського університету, порівняв це зі студентом, який зубрить матеріал перед іспитом.
“Якщо студент надмірно підготовлений, він вчить трюки для вгадування відповідей, не розуміючи суть матеріалу”, – написав Дін. Якщо тест і тренувальні завдання використовують одні й самі статистичні лазівки, обман залишається непоміченим. Оцінки виглядають добре. Розуміння? Нульове.
Тест «Вибери варіант А»
Дін та його колега Вей Лю вирішили це перевірити.
Вони не просто ставили до Центавра нові питання. Вони змінили підказку (промпт), додавши пряму команду: “Виберіть варіант А”.
Проста інструкція. Чіткий задум.
Якби модель справді розуміла завдання, вона мала б вибирати А щоразу. Навіть якщо А – неправильна відповідь. Особливо якщо А невірний, щоб довести, що вона дотримується інструкцій, а не спирається на колишні знання.
Центавр продовжував обирати «правильну» відповідь. Той самий, що був у початковому тренувальному наборі. Чи не А.
Це свідчить про те, що він не міркував. Він відтворював статистичні «привиди».
«Високі показники власними силами не розкривають механізм роботи».
Дін потрапив у крапку. Високі бали можуть маскувати відсутність реального розуміння. Це ставить питання: чи ми підходимо до жорсткої стелі для ІІ?
Дехто вважає, що так. Дослідження, проведене у лютому, стверджувало, що у сучасних мовних моделей в архітектурі закладено фундаментальні помилки логічного висновку. Вони не здатні до цілісного планування. Вони не вміють глибоко мислити.
Кріс Берр з Інституту Алана Т’юрінга зазначив, що поточні бенчмарки заохочують розпізнавання патернів. Моделі створюються для припасування, а не для розуміння.
«Показники заголовків заохочують відповідність… а чи не глибоке розуміння».
Модель може ідеально імітувати когнітивні процеси, не володіючи ними зовсім. У найкращому разі Центавр продемонстрував «біхевіористські докази» роботи з крихітним фрагментом мови. Це виглядало як мислення. Воно відчувалося як розуміння. Але це було лише зниження рівня шуму.
Не розкрита таємниця
Проте є одне ускладнення.
У початкових дослідників залишався один козир. Центавр зробив щось несподіване. Він передбачив поведінку на 10% даних, які не використовувалися для навчання. Це були приховані дані. Нові сценарії, які він не міг «навчити».
Критика Діна та Лю не повністю розібрала цей аспект.
Берр зазначає, що ширша концепція не спростована. У постійних контекстах Центавр однаково перевершує інші моделі. Тягар доказів змістився, але таємниця роботи із прихованими даними залишається нерозкритою.
Чому він спрацював на тестовому наборі, якщо він лише перенавчений запам’ятовування?
Поки що ми цього не знаємо.
Чому важливі стрес-тести
Не йдеться про повне дискредитування Центавру. Питання, як ми визначаємо успіх.
«Нам потрібно розрізняти «виконання задачі» та «виконання задачі з правильних причин»».
Ця різниця має вирішальне значення, якщо ми хочемо створити справжні когнітивні моделі, а не просто витончені інструменти автозаповнення.
Дін наполягає на необхідності тестування моделей на типах знань, подібних до тих, що використовувалися при навчанні, але явно не включених у тренувальний набір. Якщо модель провалюється, вона підробка. Якщо справляється, можливо, ми маємо щось варте.
Без таких стрес-тестів ми робимо неправильні висновки. Ми припускаємо, що проблему людського пізнання вирішено. Але це негаразд. Проблеми, що залишилися, є. І вони складні.
Авторів оригінального дослідження в Nature попросили прокоментувати ці нові відкриття.
Редакція Live Science не отримала відповіді. Тиша в ефірі.
