В последние дни внимание привлекли предупреждения аналитиков Gartner о риске массовых сбоев в корпоративных системах из-за внедрения автономных ИИ-агентов. Исследования показали, что 79% организаций уже используют агентные системы в производственной среде, а 96% планируют расширять их применение в ближайшие годы. Однако традиционные методологии управления инцидентами, разработанные для человеческого участия, не подходят для автономных систем, способных принимать решения без вмешательства инженеров. Аналитики Gartner прогнозируют, что к 2028 году около 33% корпоративного ПО будет включать агентный искусственный интеллект, при этом до 40% таких проектов могут быть закрыты из-за отсутствия эффективных механизмов управления рисками. (ixbt.com)

Проблема заключается в том, что автоматизированные системы восстановления действуют локально и не учитывают состояние всей инфраструктуры. Например, агент может корректно перезапустить проблемный кластер, но не заметить, что зависимые сервисы уже работают на пределе нагрузки. В результате локальная ошибка перерастает в каскадный сбой. Специалисты предлагают перейти к модели «бюджета устойчивости» — динамической системе оценки того, сколько нагрузки инфраструктура способна безопасно выдержать в конкретный момент времени. Такая модель должна учитывать сразу несколько групп сигналов: скорость выгорания SLO-бюджета, задержки уровня P99, состояние зависимых сервисов и поведенческие сигналы пользователей. (ixbt.com)

Отдельное внимание уделяется созданию единого реестра потребления инфраструктурных ресурсов. Он позволит синхронизировать действия разных агентов и предотвратить ситуации, когда несколько автоматизированных систем одновременно нагружают одни и те же узлы. Эксперты считают, что без подобных механизмов массовое внедрение агентного ИИ может превратить корпоративные системы в нестабильную среду, где даже технически корректные действия автономных программ будут провоцировать новые сбои. (ixbt.com)

В ответ на эти вызовы компании, такие как Microsoft, предлагают решения для управления и безопасности ИИ-агентов. Microsoft представила Agent 365 и Microsoft 365 Enterprise 7, предназначенные для обеспечения безопасности и управления растущим числом ИИ-агентов в организациях. Agent 365 служит централизованной системой для наблюдения, управления и защиты ИИ-агентов, в то время как Microsoft 365 Enterprise 7 объединяет Agent 365 с Microsoft 365 Copilot и передовыми средствами безопасности в одном пакете. Однако исследования показали, что 29% агентов в опрошенных организациях работают без одобрения ИТ- или безопасностных команд, что создает дополнительные риски. (venturebeat.com)

Таким образом, несмотря на потенциал автономных ИИ-агентов в автоматизации бизнес-процессов, их внедрение требует тщательного подхода к управлению рисками и обеспечению безопасности, чтобы избежать возможных сбоев и угроз для корпоративных систем.