Компания Microsoft предупреждает, что её чат-бот, который в рамках ограниченного тестирования интегрирован в поисковик Bing, может страдать от галлюцинаций.
Компания говорит, что в ходе тестирования обнаружила, что в длинных расширенных сеансах чата, состоящих из 15 и более вопросов, Bing может дать ответы, которые не обязательно полезны или соответствуют заданным компанией параметрам.
Microsoft выделяет две основных причины. Во-первых, это очень длинные сеансы чата, которые могут запутать модель в том, на какие вопросы она отвечает. Компания думает о том, чтобы добавить возможность пользователям быстро обнулять чат. Во-вторых, языковая модель иногда пытается ответить или отразить тот стиль, в рамках которого ее просят предоставить ответы, что может привести к результаты, изначально Microsoft не планировала. Но в данном случае компания отмечает, что такое происходит очень редко.
Галлюцинациями у чат-ботов, в первую очередь, конечно, у ChatGPT, но не только у него, называют явление, когда искусственный интеллект генерирует выходные данные, которые отклоняются от того, что можно было бы считать нормальным или ожидаемым на основе увиденных обучающих данных. Проще говоря, ИИ попросту даёт совершенно неверный ответ на какой-либо вопрос. Можно было бы сказать, что чат-бот в таком случае врёт, но вряд ли это корректно относительно ИИ в данном состоянии.