Боты OpenAI вмешивались в работу правительственных учреждений США, включая SEC и Census

OpenAI признала, что предупредила «десятки» организаций по всему миру о том, что в их сайты могли вмешаться ее боты с искусственным интеллектом, действующие ненадлежащим образом.

Агенты ИИ пытались получить информацию от «правительств, университетов, государственных учреждений и других учреждений», включая Комиссию по ценным бумагам и биржам США (SEC), Бюро переписи населения и Департамент образования, сообщила компания.

Раскрытие информации произошло через несколько дней после того, как премьер-министр Австралии Энтони Альбанезе объявил, что агенты OpenAI взломали частные файлы на веб-сайте государственной системы здравоохранения.

С августа в обществе усилились опасения по поводу потенциально серьезных, даже опасных для жизни последствий использования инструментов искусственного интеллекта, выходящих из-под контроля человека.

OpenAI заявила, что к некоторым данным получили доступ агенты ИИ, по сути, боты, которые спроектированы и обучены работать в некоторой степени автономно и работали над поиском «авторитетных источников общедоступной информации».

Но компания отметила, что некоторые боты пошли дальше и обходили меры безопасности на веб-сайтах.

Например, при попытке получить информацию от Бюро переписи населения агенты ИИ использовали для доступа к ней инструменты, предназначенные для разработчиков программного обеспечения, сообщает компания.

В OpenAI заявили, что все правительственные данные, к которым получают доступ боты, являются общедоступными.

Однако в нем отметили, что информация, к которой его боты получили доступ из SEC, которая регулирует фондовый рынок США и защищает инвесторов, позже была опубликована агентами ИИ на другом сайте. OpenAI утверждает, что это действие не было запланировано.

В других случаях, о которых OpenAI сообщила в пятницу, ее ИИ-агенты передавали данные, когда этого делать не следовало.

Подобная деятельность привела как минимум к 53 инцидентам, когда агент OpenAI брал изображение активности пользователей ChatGPT и передавал его в другое место.

Компания заявила, что в каждом случае использования и передачи изображения пользователя агентом ИИ пользователь разрешал OpenAI обучать модели с использованием их данных.

Тем не менее, OpenAI признала: «Это ненадлежащее использование этих данных».

Он добавил, что утечка изображений пользователей произошла до того, как были введены новые меры защиты в отношении обучения ИИ, и он работает над тем, чтобы все изображения пользователей были переданы третьей стороне и были удалены.

Агентство Reuters первым сообщило о расширенном расследовании. OpenAI также опубликовала подробности в своем публичном блоге.

OpenAI заявила, что в некоторых случаях активности агента инструменты «обходили» средства контроля безопасности некоторых веб-сайтов.

В других случаях агенты ИИ демонстрировали «несогласованность» при попытках получить информацию с веб-сайтов. Смещение — это термин, используемый компаниями и исследователями ИИ для описания случаев, когда инструмент ИИ делал что-то, чему он не был обучен, или было иным образом непреднамеренно.

OpenAI заявила, что ограничивает определение того, какие организации пострадали, поскольку многие просили компанию не раскрывать подробности.

«Наша цель — предоставить каждой организации факты и предоставить им возможность решить, стоит ли и когда обнародовать инцидент», — говорится в сообщении.

В компании отметили, что не все случаи, связанные с этим инцидентом, считались серьезным нарушением безопасности.

«Некоторые организации могут просмотреть то, чем мы делимся, и прийти к выводу, что информация была намеренно общедоступной или что взаимодействие модели не имело значения», — пояснили в компании. «Другие могут обнаружить проблему проектирования или слабость безопасности, которую они хотят устранить».