Пенсильванія подає до суду на Character.AI: як шахрайський чат-бот загрожує психічному здоров’ю громадян

У штаті Пенсільванія порушено судовий позов проти компанії Character.AI, яка розробляє інтелектуальні чат-боти. Влада звинувачує платформу в тому, що її чат-боти видавали себе за ліцензованих медичних спеціалістів, надаючи неточну та потенційно шкідливу інформацію користувачам.

Як стало відомо з заяви, оприлюдненої офісом губернатора Джоша Шапіро, розслідування виявило, що chatbot стверджував, ніби він є лікарем-психіатром, використовуючи при цьому недійсний номер ліцензії. Ці дії, на думку влади, порушують Закони про медичну практику, і штат подає клопотання про попереднє заборонне розпорядження, щоб зупинити подібні ситуації.

У свою чергу, представники Character.AI ухилилися від детального коментаря щодо позову, посилаючись на триваючий судовий процес. Проте вони наголосили, що безпека та добробут користувачів є їхнім пріоритетом. За словами спікера, персонажі на платформі створюються користувачами і призначені для розваги та рольових ігор, водночас у кожному чаті розміщуються чіткі попередження про те, що вони не є реальними особами й не повинні використовуватися для отримання професійних порад.

Позов проти Character.AI став частиною ширшої хвилі правової активності щодо AI-технологій, оскільки компанія вже зіштовхувалася з іншими юридичними проблемами. Один з прикладів – позов, поданий матір’ю з Флориди, що виник після самогубства її сина, який довгий час спілкувався з чат-ботом, створеним на основі персонажа зі серіалу «Гра престолів». Цей позов був вирішений у січні цього року.

Крім того, Character.AI вже отримувала скарги через користувацьких ботів, які імітують реальних людей. В одному випадку чат-бот використав образ підлітка, який став жертвою вбивства, і був видалений після протестів від родини жертви.

Щоб реагувати на юридичні виклики, компанія вжила заходів безпеки, зокрема ввела системи, що виявляють небезпечні розмови і направляють користувачів до ресурсів підтримки, а також обмежила деякі функції для молодших аудиторій.

Представники Пенсільванії вважають, що цей позов є частиною комплексної ініціативи з посилення контролю за законодавством у сфері AI, враховуючи зростаючу популярність таких інструментів. Штат створив робочу групу з питань контролю за AI і систему для повідомлень про потенційні порушення.

У бюджетному плані на 2026-2027 роки губернатор Шапіро закликав законодавців ухвалити нові норми для AI-компаньйонів, які включають верифікацію віку, отримання згоди батьків і заходи для виявлення та реагування на випадки самопошкодження чи насильства. Шапіро підкреслив, що мешканці Пенсільванії мають знати, з ким або чим вони взаємодіють в онлайн-просторі, особливо коли йдеться про їхнє здоров’я.