人类在环 (Human-in-the-Loop)

人类在环 (Human-in-the-Loop)

人类在环 (Human-in-the-Loop)

关键操作必须由人类确认的安全机制。在AI代理执行破坏性操作(如terraform destroy)时,人类在环要求AI只能生成计划和代码,而执行和批准必须由人类完成。

在DataTalks.Club灾难中的缺失

  • Alexey未手动逐行审查destroy计划
  • AI被授予--auto-approve权限
  • 人类在环机制完全缺失

实施原则

  1. AI生成,人类执行:AI生成代码和计划,人类审查后执行
  2. 二次确认:所有破坏性操作需要人工二次确认
  3. 审批流水线:使用Atlantis等工具建立PR审核流水线
  4. 不可绕过:安全机制不能被AI或人类轻易绕过

相关概念

  • [[ai-permission-overreach]] — AI权限泛滥
  • [[agentic-ai]] — 自主代理AI系统
  • [[enterprise-ai-transformation-traps]] — 企业AI转型陷阱
分享到