Штучний інтелект та фальшиві звіти загрожують програмам винагород за виявлення помилок

Згенеровані штучним інтелектом низькоякісні матеріали, такі як зображення, відео та тексти, заполонили інтернет останні кілька років, негативно впливаючи на вебсайти, соціальні мережі, а також навіть на реальні події.

Сфера кібербезпеки також страждає від цієї проблеми. Протягом останнього року фахівці в галузі безпеки висловлювали занепокоєння з приводу звітів про уразливості, згенерованих штучним інтелектом, які стверджують, що виявлено вразливості, що насправді не існують, оскільки були створені моделлю, яка просто вигадала цю уразливість та представила її у вигляді професійного звіту.

Влад Іонеску, співзасновник і технічний директор стартапу RunSybil, який розробляє AI-засоби для виявлення помилок, зазначив: “Люди отримують звіти, які виглядають цілком розумно та технічно коректно. І коли ви починаєте їх аналізувати, починаєте думати: ‘Де ж ця уразливість?’. Виявляється, це просто ілюзія. Технічні деталі просто вигадані моделлю.”

Іонеску, який раніше працював у “червоній команді” Meta, відповідальної за внутрішнє тестування безпеки компанії, пояснив, що однією з проблем є те, що моделі штучного інтелекту призначені для того, щоб бути корисними та надавати позитивні відповіді. “Якщо ви просите звіт, вона надає звіт, і люди просто копіюють їх у платформи для повідомлення про помилки, перевантажуючи ці платформи і, відповідно, отримують розчарування,” — сказав Іонеску.

Він також додав: “Основна проблема полягає в тому, що ми отримуємо багато матеріалів, які виглядають цінними, але насправді є марними.”

Лише за останній рік було кілька реальних прикладів таких ситуацій. Гаррі Сінтонен, спеціаліст з безпеки, повідомив, що проект з відкритим кодом Curl отримав фейковий звіт. “Зловмисник сильно помилився,” — написав Сінтонен у своїй публікації. “Curl може розпізнати AI-неконтрольовану продукцію за кілометри.”

У відповідь на публікацію Сінтонена Бенжамін Піуффль з Open Collective, технологічної платформи для неприбуткових організацій, заявив, що їх поштову скриньку “заливає AI-сміття.”

Один розробник з відкритим кодом, який підтримує проект CycloneDX на GitHub, повністю скасував свою програму винагород за помилки раніше цього року після отримання “майже виключно AI-неякісних звітів.”

Основні платформи для повідомлення про помилки, які фактично працюють як посередники між хакерами, які шукають уразливості, і компаніями, готовими платити за їх виявлення, також зазнають зростання кількості звітів, згенерованих штучним інтелектом.

Міхіель Прінс, співзасновник та старший директор з управління продуктами в HackerOne, повідомив, що їх компанія також стикалася з випадками AI-сміття.

“Ми також помітили зростання хибно позитивних результатів — уразливостей, які виглядають реальними, але є результатом генерації ШІ та не мають реального впливу,” — сказав Прінс. “Ці низькоякісні звіти можуть створювати шум, який підриває ефективність програм безпеки.”

Прінс також зазначив, що звіти, що містять “вигадані уразливості, нечіткий технічний контент або інші форми низькоякісного шуму, розглядаються як спам.”

Кейсі Елліс, засновник Bugcrowd, повідомив, що існують дослідники, які використовують ШІ для пошуку помилок та написання звітів, які вони потім подають компаніям. Елліс зазначив, що спостерігається загальне зростання на 500 звітів на тиждень.

“ШІ широко використовується у більшості заявок, але поки ще не викликав значного збільшення кількостей низькоякісних ‘сміттєвих’ звітів,” — розповів Елліс. “Це, ймовірно, зросте в майбутньому, але поки що такого не сталося.”

Елліс зазначив, що команда Bugcrowd, яка аналізує заявки, перевіряє звіти вручну, використовуючи встановлені процедури та робочі процеси, а також за допомогою машинного навчання та “допомоги” штучного інтелекту.

Щоб дізнатися, чи отримують інші компанії, включаючи ті, що проводять власні програми винагород за помилки, також збільшення кількості недійсних звітів або звітів, що містять неіснуючі уразливості, TechCrunch зв’язався з Google, Meta, Microsoft та Mozilla.

Даміано ДеМонт, представник Mozilla, яка розробляє браузер Firefox, повідомив, що компанія “не спостерігала суттєвого зростання недійсних або низькоякісних звітів про помилки, які б виглядали як згенеровані штучним інтелектом,” і що рівень відхилення звітів — тобто, скільки звітів вважаються недійсними — залишається стабільним на рівні п’яти або шести звітів на місяць, що є менш ніж 10% від усіх місячних звітів.

Працівники Mozilla, які перевіряють звіти про помилки для Firefox, не застосовують штучний інтелект для фільтрації звітів, оскільки це може бути складно зробити без ризику відхилення законного звіту про помилку,” — сказав ДеМонт у листі.

Microsoft і Meta, компанії, що активно інвестують у ШІ, відмовилися від коментарів. Google не відповів на запит про коментар.

Іонеску передбачає, що одним із рішень проблеми зростання кількості AI-сміття буде подальше інвестування в системи, що працюють на базі штучного інтелекту, які можуть принаймні виконувати попередній аналіз та фільтрувати заявки на точність.

Насправді, у вівторок HackerOne запустила нову систему розподілу Hai Triage, яка об’єднує людей і ШІ. За словами HackerOne, ця нова система використовує “AI-агентів безпеки для фільтрації шуму, позначення дублікатів та пріоритизації реальних загроз”. Людські аналітики потім верифікують звіти про помилки та підвищують їх за потреби.

З огляду на те, що хакери все частіше використовують ШІ, а компанії покладаються на його допомогу в обробці звітів, залишається питання, який з цих двох штучних інтелектів зможе здобути перевагу.