Нам срочно необходимо отслеживать действия ИИ-агентов в режиме реального времени

Агенты создают новые виды проблем, которых не может решить сам по себе генеративный ИИ. Они унаследовали непредсказуемость LLM, на которых они построены, но там, где генеративная система ИИ выдает единый результат, на который может действовать человек, агент выполняет более длительные задачи — он планирует, выбирает инструменты, порождает субагентов и предпринимает действия. Таким образом, курс агента может формироваться множеством различных способов, и никакие тесты перед запуском не смогут полностью предвидеть риски. Это делает наблюдение за агентами во время их работы еще более сложным и даже более важным.

Совместно с коллегами из академических кругов, гражданского общества и промышленности мы изучили четыре наиболее широко используемые агентские структуры, чтобы увидеть, какие сигналы они на самом деле излучают. Мы обнаружили серьезные пробелы, которые затрудняли достижение ключевых целей безопасности, таких как обнаружение нарушений политики, несанкционированных действий и даже ошибок человеческого контроля. Отсутствовали ключевые требования к наблюдаемости, такие как идентификаторы агентов, которые сохраняются с течением времени, и записи о том, какие люди одобрили задачи агента. Из-за этого было трудно определить, какие агенты что делали, или оценить, предпринимали ли они несанкционированные действия.

Хорошей новостью является то, что эти пробелы, как только они будут выявлены, могут быть устранены. Это начинается со сбора двух типов записей: тех, которые показывают, что происходило во время работы агента и как агент принимал свои решения. Записи «что произошло» идентифицируют агента (при сохранении конфиденциальности) и регистрируют, как вмешались люди и сместились ли разрешения агента или «память», а записи «решений» показывают рассуждения агента и уровень уверенности в предпринятых им действиях.

Возьмем, к примеру, агентов, работающих над оформлением ипотечных кредитов банка. Система проверяет заявку и рекомендует отклонить ее, после чего кредитный специалист подписывает решение. В ходе последующей проверки или, возможно, даже в режиме реального времени банк или регулирующий орган должны иметь возможность восстановить, какой агент сделал звонок, какой сотрудник его одобрил и сколько времени это заняло. Кроме того, банк должен проанализировать записи о том, как агент принял решение об отказе, чтобы убедиться, что он не использовал запрещенную информацию, например сведения о районе проживания заявителя.

Запись того, «что произошло» и «как агент решил», требует разных подходов, но оба осуществимы. Нынешнее отсутствие записей о том, что произошло, в основном является проблемой программного обеспечения, которую можно решить с помощью OpenTelemetry, открытого стандарта наблюдения, поддерживаемого инженерами всей отрасли и принимающими его агентскими платформами.

OpenTelemetry создала рабочую группу по разработке общих форматов для агентов слежения, но они еще не доработаны. Группе следует срочно внедрить стандарты для поддержания постоянной идентичности агентов и для регистрации вмешательства человека и изменений разрешения или памяти агентов. И это необходимо сделать до того, как эти системы смогут масштабироваться, при этом уделяя внимание вопросам конфиденциальности, связанным с идентификатором агента, который связан с реальными людьми.