Самые современные модели ИИ начали врать людям

Нейросети не признаются, что чего-то не знают.

Исследователи заметили очевидный недостаток самых умных чат-ботов с искусственным интеллектом. Они скорее сгенерируют неправильный ответ, чем признают, что задача выходит за рамки их возможностей.

Хотя модели искусственного интеллекта предсказуемо становятся более точными по мере своего развития, они также становятся более склонными неправильно отвечать на вопросы, которые выходят за рамки их возможностей, чем избегать ответов, показало новое исследование, опубликованное в Nature.

Команда изучила три семейства больших языковых моделей (LLM), включая серию GPT от OpenAI, LLaMA от Meta и BLOOM с открытым кодом. Исследователи протестировали несколько версий каждой модели, начиная от ранних и заканчивая более современными, но не самыми совершенными на сегодня. Каждой модели задали тысячу вопросов, касающихся научных проблем, арифметики, анаграмм, географии и тому подобное. Также модели спрашивали об их способности преобразовывать информацию, например составлять список по алфавиту. Команда ранжировала свои запросы по предполагаемой сложности.

Данные показали, что доля неправильных ответов чат-ботов, предоставленных вместо того, чтобы избежать ответа на вопрос, росла по мере роста моделей. Кроме этого, исследователи выяснили, что люди слишком уж склонны верить неправильным ответам от ИИ. Диапазон неправильных ответов, ошибочно воспринятых участниками исследования как правильные, колебался от 10 до 40%.

Исследовательская группа рекомендует разработчикам искусственного интеллекта активнее работать над тем, чтобы вместо правдоподобных, но неправильных ответов – так называемых галлюцинаций – пользователи получали от чат-ботов отказы от выполнения запросов. Это поможет пользователям лучше понимать, что в определенных вопросах они не могут полагаться на ответы искусственного интеллекта.