Что меняется для бизнеса. Разделять инструменты по задачам и полномочиям, ограничивать объекты доступа и проверять критические действия на стороне приложения.
Как оценить эффект. Число избыточных доступов, время проверки полномочий и возможности расследования нежелательного действия.
Инженерный опыт: инфраструктура METRO Cash & Carry
Опасность часто находится не в модели, а в инструменте, который позволяет сделать слишком много одним вызовом и слишком слабо проверяет контекст.
Универсальность имеет цену
Инструмент «выполнить любой запрос» удобен для прототипа, но затрудняет аудит, тестирование и ограничение последствий. Агент может выбрать допустимую технически, но неверную бизнес-операцию.
Лучше давать узкие операции с предметными параметрами, проверкой состояния и явным результатом.
Как уменьшить риск
Разделяйте чтение, подготовку и применение, ограничивайте объекты и значения, добавляйте лимиты, подтверждения и идемпотентность. Запрещённые действия должны отклоняться инструментом до вызова внешней системы.
Проверяйте не только штатный путь, но и попытки агента обойти ограничение через комбинацию менее привилегированных операций.
Следующий шаг
Least privilege для AI-агентов
