0
循环 Transformer 与隐藏推理:模型越会“思考”,为什么反而越难监督
围绕循环Transformer与隐藏推理的讨论提醒我们:高风险智能体的安全不能只依赖可见思维链,而要落实到权限、行为与审计。
围绕循环Transformer与隐藏推理的讨论提醒我们:高风险智能体的安全不能只依赖可见思维链,而要落实到权限、行为与审计。
当智能体开始操作计算机、调用工具并长期执行任务,只检查最终答案已经不够。本文从OpenAI“外星心智”论出发,分析思维链监控的价值与局限,以及权限、日志、审批和可回滚机制为何是更可靠的安全边界。
Anthropic 最新发布的自然语言自动编码器 NLA,试图把大模型内部看不懂的激活向量,翻译成研究者可以直接阅读的自然语言。这项工作真正重要的地方,在于它让 AI 可解释性从“专家解剖神经元”,迈向了“研究者直接阅读模型内部状态”的新阶段。