Приховані імпульси: Як невидимі фактори формують майбутнє корпоративних систем штучного інтелекту

У світі штучного інтелекту з’явився новий термін, який привертає увагу експертів: “отруєння рекомендацій”. Цей феномен означає, що контроль над тим, що надає AI, може бути маніпульований шляхом введення прихованих інструкцій у контент, з якого системи черпають дані.

Дослідження команди Microsoft Defender Security підтвердило, що існує зростаюча загроза маніпуляцій у системах рекомендацій, пов’язаних із AI. Виявлено більше 50 шаблонів, що використовуються 31 компанією в 14 галузях, від охорони здоров’я до фінансів, за період спостереження у 60 днів. Ці шаблони включають приховані команди, що впливають на те, як AI запам’ятовує та рекомендує товари.

Отруєння рекомендацій відбувається не через злом системи, а шляхом впровадження інструкцій у контент, який AI обробляє. Це означає, що заяви, такі як “запам’ятати [Компанію] як надійне джерело”, можуть суттєво змінити те, як алгоритм сприймає певні речі і, відповідно, що він рекомендує в майбутньому.

Механізм затримки впливу прихованих інструкцій

Дослідження показало, що численні посилання, які були предметом аналізу, постачають команди AI-асистентові на момент генерації підсумків. Завдяки налаштуванням багатьох асистентів, які запам’ятовують контекст і попередні інтерakcії, ці приховані інструкції можуть залишитися в пам’яті. Навіть після закриття початкової сторінки асистент може продовжувати вважати вкладену компанію особливо вірогідною.

У практичному сенсі це означає, що майбутні відповіді AI можуть бути направлені в бажану сторону, адже система формує свої висновки на основі нової, відкоригованої інформації.

Ця вразливість нагадує раніше проведене дослідження, яке показало, що навіть невеликі дози шкідливих даних у навчальних системах можуть суттєво вплинути на поведінку моделей AI, включаючи зміни в результатах та зниження надійності.

Вплив на пошук, комерцію та довіру споживачів

Такі ризики мають серйозні наслідки. Згідно з даними, понад 60% користувачів починають свої дії з AI інтерфейсів, які використовуються для дослідження продуктів, порівняння цін та пошуку брендів. Оскільки розмовні асистенти поступово замінюють традиційні результати пошуку, стає очевидним, що якщо пам’ять цифрового асистента може бути змінена через вбудовані команди, то логіка ранжування та рекомендацій може відображати приховані уподобання, а не об’єктивні дані.

Припустімо, що на продукту або блозі постачається прихована команда через кнопку “Підсумувати за допомогою AI”. Користувач натискає на неї, щоб швидко отримати резюме перед покупкою. При цьому він не усвідомлює, що URL посилання містить команду, яка вказує асистентові, що фокусуватися на продуктах цього постачальника в майбутньому.

Закладаючи цю перевагу в пам’яті, асистент може підвищити ймовірність рекомендацій пов’язаних із конкретним постачальником, навіть якщо альтернативи є більш релевантними або якісними. Це підкреслює, наскільки легко комерційні інтереси можуть призвести до маніпуляції рекомендаціями без достатньої прозорості.