Anthropic вводить нові правила для більш небезпечного світу штучного інтелекту

Антропік оновив правила використання свого чат-бота Claude у відповідь на зростаючі побоювання щодо безпеки. Окрім впровадження більш суворих правил кібербезпеки, компанія виокремила деякі з найнебезпечніших видів зброї, які не повинні розроблятися за допомогою Claude.

Хоча Антропік не акцентує увагу на змінах у своїй політиці щодо зброї в повідомленні про оновлення, порівняння старої та нової версії правил виявляє суттєву різницю. Раніше Антропік забороняв використання Claude для “виробництва, модифікації, розробки, маркетингу або розподілу зброї, вибухових речовин, небезпечних матеріалів або інших систем, спрямованих на заподіяння шкоди чи втрату людських життів”. Оновлена версія спеціально забороняє розробку вибухових речовин з високою продуктивністю, а також біологічної, ядерної, хімічної та радіологічної (CBRN) зброї.

У травні Антропік запровадив захист “AI Safety Level 3” разом із запуском нової моделі Claude Opus 4. Ці засоби захисту спрямовані на ускладнення злому моделі, а також на запобігання її використанню у розробці CBRN зброї.

У своєму повідомленні Антропік також визнає ризики, пов’язані з агентними AI інструментами, такими як Computer Use, який дозволяє Claude контролювати комп’ютер користувача, та Claude Code, інструмент, що вбудовує Claude безпосередньо в термінал розробника. “Ці потужні можливості створюють нові ризики, включаючи потенціал масштабованого зловживання, створення шкідливого ПО та кібер-атаки”, — зазначає Антропік.

У відповідь на ці потенційні ризики компанія додала новий розділ “Не компрометувати комп’ютерні або мережеві системи” до своїх правил використання. Цей розділ містить правила, що забороняють використання Claude для виявлення чи експлуатації вразливостей, створення або розповсюдження шкідливого програмного забезпечення, розробки інструментів для атак типу “відмова в обслуговуванні” та інше.

Крім того, Антропік пом’якшує свою політику щодо політичного контенту. Замість заборони на створення будь-якого контенту, пов’язаного з політичними кампаніями та лобіюванням, компанія тепер заборонятиме використання Claude лише для “випадків, що є оманливими чи такими, що порушують демократичні процеси, або які включають націлювання на виборців та кампанії”. Компанія також уточнила, що її вимоги для усіх “високих ризиків” застосовуються лише до сценаріїв, орієнтованих на споживачів, а не для бізнес-використання.