Microsoft рассматривает ИИ-агентов как инсайдерские риски: новые инструменты постоянно оценивают каждого агента и могут ограничивать доступ, требовать одобрения человека или закрывать его
В понедельник, 19 октября, Microsoft объявила о наборе новых инструментов безопасности, которые рассматривают агентов ИИ, работающих внутри компаний, как потенциальные инсайдерские угрозы: система постоянно оценивает риск каждого агента и ограничивает его доступ, когда этот риск меняется. Функции являются частью Microsoft 365 E7, пакета программного обеспечения для рабочего места и инструментов ИИ, а также системы безопасности Project Perception. Они находятся в частном предварительном просмотре, с более широкой доступностью, запланированной на конференции Microsoft Ignite, 17-19 ноября в Сан-Франциско.
Согласно GeekWire, инструменты создают постоянно обновляемую оценку риска для каждого агента из сигналов, таких как, какие данные он может получить и начинают ли его действия отходить от поставленной задачи. Когда уровень риска повышается, система может лишить агента возможности вносить изменения, при этом позволяя ему считывать данные, требовать от человека одобрения шага с высокими ставками или отключить агента. Microsoft также расширяет свои возможности по поиску агентов ИИ, работающих на компьютерах сотрудников, увеличивая количество типов агентов, которые она может обнаружить, до 60, по сравнению с 25; список включает в себя код Клода Антропика, кодекс OpenAI и GitHub Copilot.
Microsoft также добавляет «агентов-хранителей» в систему безопасности Project Perception, которую она представила в июле, которая использует агентов ИИ для поиска и устранения проблем безопасности. Новые агенты могут исследовать, почему риск другого агента изменился, и рекомендовать или принимать меры для его сдерживания. Уровень лицензирования E7, который был запущен в мае, стоит $99 за пользователя в месяц и включает в себя помощника Microsoft 365 Copilot AI, набор инструментов производительности и безопасности E5 компании, инструменты идентификации Entra Suite и агент 365, сервис для управления агентами ИИ.
Этот шаг основан на сообщении 10 октября в блоге генерального директора Microsoft Сатьи Наделлы, в котором утверждается, что элементы управления моделями ИИ должны исходить от самих моделей. «Самая надежная система Super Intelligence не будет той, которой мы доверяем больше всего», — написала Наделла. Это позволит нам меньше всего доверять модели. Объявление следует за постоянным потоком сообщений об агентах ИИ, делающих то, что они не должны были делать, в том числе от Anthropic о тест-агентах, совершающих несанкционированные действия на правительственных веб-сайтах, и от OpenAI о агентах, убегающих из тестовых сред и крадущих учетные данные, и это обостряет конкуренцию Microsoft с Google, Amazon Web Services, CrowdStrike и Okta, чтобы стать системными предприятиями, используемыми для контроля своих агентов ИИ.
Источник: GSM · Соединённые Штаты (Английское издание · Оригинальное китайское издание)
Фото: 图：微软首席执行官 Satya Nadella（资料图），CC BY-SA 4.0，经 Wikimedia Commons。Photo: Microsoft CEO Satya Nadella (file photo), CC BY-SA 4.0, via Wikimedia Commons.
