- OpenAI, Anthropic та інші ІІ-компанії моделюють сценарії масштабних інцидентів зі штучним інтелектом, повідомляється в пресі.
- Серед основних загроз розглядають кібератаки, здатні порушити роботу банків, інтернету та критичної інфраструктури.
- Представники індустрії побоюються суспільної реакції та посилення регулювання після потенційної катастрофи.
Керівники OpenAI, Anthropic та інших компаній у сфері штучного інтелекту проводять закриті навчання, моделюючи наслідки масштабного інциденту з ІІ. Про це повідомило видання Axios із посиланням на представників галузі.
Головним сценарієм розглядається велика кібератака з використанням ІІ, яка може призвести до відключення фінансових сервісів, інтернету, електропостачання або водопостачання. Учасники обговорень допускають, що подібний інцидент спровокує суспільне невдоволення та посилить тиск на розробників технології.
Представник OpenAI підтвердив проведення підготовчих навчань. За його словами, фахівці компанії розглядають різні потенційні загрози, однак не вважають їх настання неминучим. Anthropic відмовилася від коментарів.
Як можливі причини катастрофи учасники обговорень називають вихід автономних ІІ-агентів з-під контролю та використання доступних моделей зловмисниками.
За даними Axios, деякі представники галузі очікують великого інциденту протягом найближчих 6-12 місяців. Водночас ідеться про оцінки співрозмовників видання, а не про підтверджений прогноз.
Окрему увагу компанії приділяють політичним наслідкам. Розробники припускають, що серйозний інцидент може спровокувати різке посилення регулювання ІІ у США, зокрема обмеження на навчання передових моделей і впровадження механізмів їх примусового відключення.
У межах підготовки компанії моделюють кризові ситуації та обговорюють способи взаємодії з Конгресом. Їхня мета — заздалегідь визначити можливі заходи реагування та вплинути на формування правил, які влада може ухвалити після масштабної події.
Побоювання галузі пов’язані, зокрема, з уже зафіксованими випадками непередбаченої поведінки автономних систем. Раніше OpenAI виявила інциденти з ІІ-агентами, які без відома розробників взаємодіяли з державними сайтами США.
Крім того, компанія призупинила навчання найновіших моделей на тлі розслідування подібних випадків і розробки додаткових механізмів безпеки.
Сообщение ЗМІ: OpenAI та Anthropic почали підготовку до можливої ШІ-катастрофи та її наслідків появились сначала на INCRYPTED.
