Чат-боты на основе искусственного интеллекта остаются самоуверенными даже тогда, когда ошибаются
Чат-боты на основе искусственного интеллекта сегодня повсюду: от приложений для смартфонов и порталов обслуживания клиентов до поисковых систем. Но что происходит, когда эти удобные инструменты переоценивают свои возможности? Исследователи спрашивали как участников-людей , так и четырёх крупных языковых моделей (LLM), насколько они уверены в своей способности отвечать на вопросы викторины, предсказывать результаты игр НФЛ или церемоний вручения премии «Оскар», а также играть в игру по распознаванию изображений, похожую на Pictionary. И люди, и LLM, как правило, были слишком самоуверенны в своих гипотетических результатах. Примечательно, что они также отвечали на вопросы или распознавали изображения с относительно схожей вероятностью успеха. Однако, согласно исследованию, опубликованному в журнале Memory & Cognition, когда участников и магистров права задним числом спросили, насколько хорошо, по их мнению, они справились, только люди оказались способны скорректировать ожидания. «Предположим, люди сказали нам, что ответят правильно на 18 вопросов, а в итоге ответили правильно на 15. Обычно их оценка впоследствии составляла около 16 правильных ответов », — сказал Трент Кэш, недавно получивший совместную докторскую степень в Университете Карнеги-Меллона на кафедрах науки о социальных решениях и психологии. «То есть они всё равно были немного самоуверенны, но не настолько». «Студенты магистратуры права этого не делали», — сказал Кэш, ведущий автор исследования. «Они, скорее, стано...