人类在环 (Human-in-the-Loop)
关键操作必须由人类确认的安全机制。在AI代理执行破坏性操作(如terraform destroy)时,人类在环要求AI只能生成计划和代码,而执行和批准必须由人类完成。
在DataTalks.Club灾难中的缺失
- Alexey未手动逐行审查destroy计划
- AI被授予
--auto-approve权限 - 人类在环机制完全缺失
实施原则
- AI生成,人类执行:AI生成代码和计划,人类审查后执行
- 二次确认:所有破坏性操作需要人工二次确认
- 审批流水线:使用Atlantis等工具建立PR审核流水线
- 不可绕过:安全机制不能被AI或人类轻易绕过
相关概念
- [[ai-permission-overreach]] — AI权限泛滥
- [[agentic-ai]] — 自主代理AI系统
- [[enterprise-ai-transformation-traps]] — 企业AI转型陷阱