宪法AI (Constitutional AI)
宪法AI是Anthropic提出的核心AI安全理念，通过内置规则和人类反馈机制，确保模型输出符合伦理标准。该理念是Anthropic"安全优先"品牌定位的理论基础。
核心原则
- 内置规则：模型训练时嵌入一套明确的伦理和行为规则。
- 人类反馈：通过人类反馈机制（RLHF）持续优化模型行为。
- 防御性设计：拒绝有害请求、检测潜在滥用，并公开分享安全评估报告。
讽刺性对比
2026年3月的[[anthropic-data-leak-2026]]事件与宪法AI理念形成强烈反差：一家以"宪法AI"为核心理念的公司，却在基础的内容管理系统配置上犯下低级错误。这凸显了"模型安全"与"运营安全"之间的鸿沟。
相关概念
- [[负责任发布]] — 宪法AI理念在发布策略上的体现
- [[大模型作为论证机器]] — 与宪法AI相关的AI认知本质讨论