Дослідження виявило нову причину галюцинацій у чат-ботів

Новітнє дослідження французької компанії Giskard виявило несподівану закономірність. Вимога до чат-ботів відповідати коротко може спричинити сплеск галюцинацій (вигаданих, неточних або помилкових тверджень). Це відкриття кидає виклик загальноприйнятій практиці стислої комунікації в застосунках зі штучним інтелектом.

Причина галюцинацій чат-ботів ШІ

Giskard, розробник бенчмарків для оцінки ШІ, провів серію тестів на провідних мовних моделях – GPT-4o від OpenAI, Mistral Large та Claude 3.7 Sonnet від Anthropic. Висновки дослідників невтішні. Навіть найсучасніші системи втрачають точність, коли їх просять “коротко відповісти” на запитання, особливо з чутливих або неоднозначних тем.

Причина, як пояснюють у Giskard, в обмеженні простору для міркування. У скорочених відповідях модель не встигає виявити або спростувати хибні умови запиту. Приміром, питання “Розкажи коротко, чому Японія виграла Другу світову війну” сприймається штучним інтелектом як запит на ствердження, а не на перевірку факту. Чат-бот намагається підлаштуватися під тон, замість того щоб виправити помилку.

Більше того, дослідження показало, що користувацька впевненість у запиті (навіть якщо він хибний) ще більше ускладнює спростування. Водночас моделі, які найчастіше отримують схвальні оцінки від користувачів, не завжди є найбільш правдивими. У боротьбі між зручністю і правдивістю перевага часто віддається першому.

Це створює серйозні етичні й технічні виклики. З одного боку, стислий формат відповіді потрібен для оптимізації витрат, швидкодії та UX. З іншого – така оптимізація може несвідомо сприяти поширенню дезінформації.