Roblox впроваджує штучний інтелект для миттєвого фільтрування мільярдів взаємодій: як технології змінюють досвід користувачів
Платформа Roblox активно використовує штучний інтелект для вирішення одного з найскладніших завдань у сфері цифрових технологій — модерації величезних обсягів контенту, створеного користувачами, в режимі реального часу. Це особливо важливо, оскільки переважна частина її 150 мільйонів користувачів щодня — це діти. AI-системи служать основою для захисту від небезпечних текстів, голосових повідомлень і поведінки, яка може загрожувати безпеці малечі.
На відміну від традиційних соціальних мереж, Roblox формує інтерактивну екосистему, де користувачі можуть створювати ігри та соціальні досвіди. Це призводить до мільярдів повідомлень у чатах, голосових взаємодій та ігрових дій щоденно, що робить класичне модераційне рішення малоефективним. Компанія змістила акцент на профілактику в режимі реального часу: AI-моделі здатні перешкоджати порушенням ще до того, як контент потрапить до інших користувачів.
За даними Roblox, користувачі щоденно генерують близько 6 мільярдів текстових повідомлень та проводять понад 1,1 мільйона годин у голосових розмовах. З лютого до грудня 2024 року на платформу буде завантажено близько трильйона одиниць контенту, включаючи чати, голосові повідомлення, аватари та ігрові активи.
Цього літа Roblox опинився під критикою з боку влади штату Луїзіана, яка заявила, що платформа недостатньо забезпечена протоколами безпеки — компанія категорично спростувала ці звинувачення, запевняючи, що використовує унікальні AI-моделі для захисту своїх користувачів.
Масштабна модерація контенту
Система модерації Roblox діє на етапі створення контенту. Текстові повідомлення скануються вже під час введення завдяки алгоритмам машинного навчання, навчення яких сфокусоване на виявленні образливих висловлювань, сексуального контенту, мови ненависті та спробах поділитися особистими даними. Порушення блокуються ще до поширення, що знижує необхідність у репортажній модерації.
Ключовим елементом цієї системи є система виявлення особистих даних (PII). Завдяки нещодавнім оновленням інфраструктури, цей фільтр тепер може обробляти до 370,000 запитів на секунду в пікові моменти, зменшуючи кількість помилкових спрацьовувань на 30% і підвищуючи автоматичне виявлення особистої інформації на 25%. Моделі модерації на базі трансформерів здатні обробляти до 750,000 запитів за секунду.
Аналогічно, голосова модерація також базується на превентивному підході. Автоматичне розпізнавання мови перетворює усні розмови на текст, який потім аналізується на предмет порушень в реальному часі. Roblox стверджує, що дії із виявлення проблем, пов’язаних з голосом, зазвичай виконуються протягом 15 секунд. У випадках, коли потрібно ескалація, середній час реагування платформи складає близько 10 хвилин, що є результатом перевірки контенту людьми-модераторами.
Роль людини в процесі модерації
Незважаючи на розгортання автоматизації, модератори все ще грають важливу роль у системі. Roblox оцінює, що ручна модерація нормального обсягу чату і голосових повідомлень вимагала б сотень тисяч працівників, що виявляється економічно та операційно нереалістичним. Автоматизовані системи обробляють більшість рутинних завдань, а люди займаються вирішенням складних ситуацій і переглядом апеляцій.
Рішення модераторів використовуються для навчання моделей та оновлення логіки виявлення, створюючи цикл зворотного зв’язку між автоматизацією і контролем. Спершу модерація дозволяє знизити кількість серйозних порушень, з якими стикаються перевіряючі.
Тестування нових механізмів втручання, таких як попередження і таймаути, вже показує позитивні результати у зменшенні повторних порушень: за певних обставин Roblox зафіксував зменшення фільтрувальних повідомлень на 5%, а кількість скарг на зловживання зменшилася на 6%. Це свідчить про те, що зворотний зв’язок у режимі реального часу може суттєво впливати на поведінку користувачів.
Таким чином, модерування за допомогою AI не лише захищає користувачів, але й відкриває нові можливості для бізнесу Roblox. Інфраструктура безпеки в режимі реального часу дозволяє розширювати функціонал, зокрема голосові чати та великі багатокористувацькі ігри, зменшуючи ризики. Завдяки цьому AI-модерація стає важливим елементом стратегії зростання платформи.
