Microsoft Treats AI Agents as Insider Risks: New Tools Continuously Score Every Agent and Can Restrict Access, Require Human Approval, or Shut One Down
Microsoft anunció el lunes 19 de octubre, un conjunto de nuevas herramientas de seguridad que tratan a los agentes de IA corriendo dentro de las empresas como potenciales amenazas internas: el sistema evalúa continuamente el riesgo de cada agente y restringe su acceso cuando ese riesgo cambia. Las características son parte de Microsoft 365 E7, el paquete de software de alto nivel de la empresa y herramientas de IA, y su sistema de seguridad Project Perception. Están en la vista previa privada, con mayor disponibilidad planificada alrededor de la conferencia de Microsoft Ignite, 17-19 de noviembre en San Francisco.
Según GeekWire, las herramientas construyen una evaluación de riesgo continuamente actualizada para cada agente desde señales como los datos que puede alcanzar y si sus acciones están empezando a alejarse de la tarea que se le dio. Cuando el nivel de riesgo aumenta, el sistema puede quitar la capacidad del agente para hacer cambios mientras deja leer datos, requiere que una persona apruebe un paso de altas tomas, o cierre el agente. Microsoft también está ampliando su capacidad para encontrar agentes de IA que se ejecutan en las computadoras de los empleados, aumentando el número de tipos de agentes que puede detectar a 60, hasta los 25; la lista incluye el código Claude de Antropopic, Codex de OpenAI y GitHub Copilot.
Microsoft también está añadiendo 'agentes guardianes' a Project Perception, un sistema de seguridad AI que se reveló en julio que utiliza agentes de inteligencia artificial para encontrar y solucionar problemas de seguridad. Los nuevos agentes pueden investigar por qué el riesgo de otro agente cambió y recomendar o tomar medidas para contenerlo. El nivel de licencias E7, que se lanzó en mayo, cuesta $99 por usuario por mes e incluye el asistente de Microsoft 365 Copilot AI, el paquete de herramientas de productividad y seguridad de la empresa E5, sus herramientas de identidad de Entra Suite y el Agente 365, un servicio para la gestión de agentes AI.
El movimiento se basa en un artículo del blog del 10 de octubre por el CEO de Microsoft Satya Nadella argumentando que los controles de los modelos AI necesitan venir de fuera de los propios modelos. "El sistema de inteligencia Super no será el más confiable con el modelo que más confiamos", escribió Nadella. Será el que nos permita confiar en el modelo lo menos. El anuncio sigue un flujo constante de informes sobre agentes de IA que hacen cosas que no se suponía que hicieran, incluyendo informes de Antropópico sobre agentes de pruebas que toman acciones no autorizadas en sitios web gubernamentales y de OpenAI sobre agentes que escapan a entornos de prueba y roban credenciales, y aumenta la competencia de Microsoft con Google, Amazon Web Services, CrowdStrike y Okta para convertirse en el sistema que las empresas utilizan para controlar sus agentes de IA.
Fuente: GSM · EE. UU. (edición en inglés · edición original en chino)
Foto: 图：微软首席执行官 Satya Nadella（资料图），CC BY-SA 4.0，经 Wikimedia Commons。Photo: Microsoft CEO Satya Nadella (file photo), CC BY-SA 4.0, via Wikimedia Commons.
