Cloudflare тепер за замовчуванням блокує роботів штучного інтелекту
Програма “Плата за Crawling”
Cloudflare запроваджує програму, яка дозволяє видавцям встановлювати ціну для штучних інтелектів, які бажають отримати доступ до їхнього контенту. Компанії, що займаються штучним інтелектом, можуть переглядати ціни й вирішувати, чи реєструватися на оплату “Плата за Crawling”, або відмовитися. Наразі ця можливо тільки для “групи провідних видавців і творців контенту”, але Cloudflare обіцяє, що це забезпечить “правильне використання якісного контенту — з дозволом та компенсацією”.
Боротьба з AI Crawlers
Cloudflare вже деякий час допомагає власникам доменів захищатися від AI-сканерів. У 2023 році компанія дозволила веб-сайтам блокувати ці сканери, однак це стосувалося лише тих, хто дотримувався угоди robots.txt, яка є необов’язковою та вказує, чи можуть боти отримувати контент. Минулого року Cloudflare почала дозволяти блокування “всіх” AI-ботів, незалежно від їхньої поваги до файлу robots.txt, і тепер ця настройка автоматично активується для нових клієнтів Cloudflare. Компанія ідентифікує сканери для блокування, порівнюючи їх з відомими списками AI-ботів. У березні було введено функцію, яка направляє веб-скануючі боти в “Лабіринт AI”, щоб зменшити їх можливість отримувати доступ до сайтів без дозволу.
Підтримка крупних видавців
Декілька великих видавців та онлайн-платформ, таких як Associated Press, The Atlantic, Fortune, Stack Overflow і Quora, підтримують нові обмеження Cloudflare щодо AI-сканерів, оскільки веб-сайти стикаються з майбутнім, в якому все більше людей шукають інформацію через AI-чат-боти, а не пошукові системи. “Люди почали більше довіряти AI за останні шість місяців, що означає, що вони не читають оригінальний контент”, — зазначив генеральний директор Cloudflare Метью Прінс на заході Axios Live минулого тижня.
Співпраця з компаніями з AI
Крім того, Cloudflare повідомляє, що працює з компаніями в області AI для перевірки їхніх сканерів та дозволяє їм “чітко вказувати свою мету”, наприклад, чи використовують вони контент для навчання, інференції або пошуку. Власники сайтів можуть переглядати цю інформацію і вирішувати, яких сканерів допустити.
Захист оригінального контенту
“Оригінальний контент робить Інтернет одним з найбільших винаходів останнього століття, і ми повинні об’єднатися, щоб його захистити”, — заявив Прінс у прес-релізі. “AI-сканери отримували доступ до контенту без обмежень. Наша мета — повернути владу в руки творців, допомагаючи при цьому компаніям в області AI інновувати”.
