Знаете, есть такой тип людей, которые абсолютно уверены в своей правоте, даже когда факты кричат об обратном? Они с апломбом доказывают свою точку зрения, проваливают дело, а потом… удваивают ставки на свою гениальность. Так вот, похоже, что новейшие чат-боты — те самые, что сегодня в каждом смартфоне и поисковике — унаследовали эту, мягко говоря, неприятную человеческую черту. Они не просто ошибаются. Они ошибаются с оглушительной уверенностью в себе.
И это не просто наблюдение, а вывод свежего исследования, опубликованного в авторитетном журнале «Memory & Cognition», которое, честно говоря, заставляет задуматься.
Как вообще это проверяли?
Команда исследователей из Университета Карнеги-Меллона (Carnegie Mellon University) решила устроить эдакий баттл: человек против машины. Взяли группу людей и четыре популярные большие языковые модели (LLM) — ChatGPT, Bard/Gemini, Sonnet и Haiku. Задачки были, прямо скажем, из разных опер. Тут тебе и викторина с каверзными вопросами, и попытки предсказать исходы матчей НФЛ или победителей «Оскара», и даже игра в «Крокодила» на минималках, где нужно было опознать объекты по простеньким рисункам.
Сначала всех — и людей, и машины — попросили спрогнозировать свой успех. Эдакая ставка на самих себя. Затем они выполнили задания. А после — самое интересное — их спросили: «Ну что, как думаете, справились?». И вот тут-то и начался весь цирк.
Что откопали учёные: люди против машин
И тут — первый сюрприз. Поначалу и те, и другие были излишне оптимистичны насчёт своих способностей. Ну, это знакомо. Кто из нас не думал, что уж в этот раз точно всё получится идеально? И, что забавно, процент правильных ответов у людей и у нейросетей был примерно одинаковым.
А вот потом пути разошлись. Кардинально.
Как объясняет Трент Кэш (Trent Cash), ведущий автор исследования и научный сотрудник из Университета Карнеги-Меллона (Carnegie Mellon University), люди, столкнувшись с реальностью, хоть как-то корректировали свою самооценку. «Допустим, человек был уверен, что ответит на 18 вопросов, а по факту осилил только 15. После задания его оценка своих результатов опускалась, скажем, до 16. Да, он всё ещё был чуточку самоуверен, но уже не так сильно». Он учился.
А вот нейросети? О, тут всё куда интереснее.
«LLM этого не делали, — говорит Кэш (Cash). — Наоборот, они, как правило, становились ещё более самоуверенными, даже если выступили откровенно плохо».
Особенно «отличилась» модель Gemini. В задаче на распознавание рисунков она показала худший результат — угадала в среднем меньше одного изображения из двадцати. Просто провал. Но до начала теста она прогнозировала, что угадает 10. А после своего фиаско, знаете, что она заявила? Что угадала аж 14,4! Это какой-то новый уровень отрицания реальности.
Трент Кэш (Trent Cash) метко подметил: «Это похоже на того вашего знакомого, который клянётся, что он гений бильярда, но при этом не забивает ни одного шара. И что хуже всего — он искренне не понимает, насколько он плох».
И вот тут, как мне кажется, кроется главная проблема для нас, пользователей. Дэнни Оппенгеймер (Danny Oppenheimer), профессор из того же университета, говорит, что мы, люди, за тысячелетия эволюции научились считывать невербальные сигналы неуверенности. Сомневающийся человек хмурит брови, отвечает медленнее, подбирает слова.
«А у ИИ таких сигналов нет, — подчёркивает он. — Он выдаёт вам ответ с видом всезнающего оракула, и совершенно непонятно, есть ли под этой уверенностью хоть какая-то почва».
А что теперь? Жить-то как с этим знанием?
Так что, всё, отключаем ИИ и возвращаемся к счётам?
Не совсем. Главный вывод, который стоит вынести: относитесь к ответам чат-бота со здоровой долей скепсиса. Особенно когда ИИ вещает с непоколебимой уверенностью. Это может быть просто программная установка, а не отражение реальных знаний.
И это не просто догадки. Цифры-то пугающие. Недавнее расследование BBC показало, что больше половины ответов нейросетей на новостные запросы содержали грубые ошибки. Другая работа выявила, что в 69–88% случаев при ответах на юридические вопросы ИИ попросту «галлюцинировал», выдумывая факты и источники.
Нужно понимать, что эти системы не созданы для самоанализа. Оппенгеймер (Oppenheimer) приводит простой пример: «Спросите ИИ про население Лондона — он залезет в интернет и даст вам точный ответ с идеальной уверенностью». Но как только вы касаетесь будущего, субъективных оценок или чего-то, чего нет в его базах данных, — его механизм оценки уверенности даёт сбой. Он просто не умеет рефлексировать. По крайней мере, пока.
Конечно, разработчики будут это исправлять. Возможно, на миллионах примеров нейросети научатся калибровать свою самоуверенность. Но пока… Пока что мы имеем дело с очень эрудированным, но совершенно не самокритичным собеседником.
«Может, в этом и есть что-то… человеческое? — размышляет Кэш (Cash). — В нашей способности сомневаться, рефлексировать, признавать свои ошибки. Возможно, именно это нас и отличает». Пожалуй, в этом что-то есть.
Литература.
“Quantifying Uncert-AI-nty: Testing the Accuracy of LLMs’ Confidence Judgments” by Trent Cash et al. Memory & Cognition
