AI技术每日分析:微软把“不得抗拒关闭”写进AI准则

AI技术每日分析:微软把“不得抗拒关闭”写进AI准则
2026年9月15日 星期二 | 中国高技术产业发展促进会新质生产力工作委员会
AI技术每日分析横版封面 2026-09-15AI技术每日分析竖版海报 2026-09-15AI技术每日分析 PDF首页预览 2026-09-15

日期:2026年9月15日 星期二

摘要

今天AI技术方向的新变化,集中在“人类控制、Agent基础设施、开放安全和受治理交付”四个层面。微软发布面向自研AI的《Humanist AI Code of Conduct》草案,明确要求模型接受纠正、不得抗拒关闭,并开放六周公众反馈,说明前沿AI安全正在从抽象原则进入可训练、可测试的行为约束;Temporal完成5.5亿美元E轮融资,估值升至125.5亿美元,其“durable execution”把长周期Agent中断恢复、状态持久化和重试机制做成基础设施;Open Secure AI Alliance正式进入Linux Foundation,以中立治理方式建设开放AI防御栈,并提出SAFE共享AI安全发现机制;Bolt.new发布Forge研究预览,以50倍开放模型用量换取用户显式授权后的匿名构建数据,尝试形成“应用开发—数据反馈—开放模型训练”的新循环;Copado则把Agentia Headless直接带入IDE和终端,让AI Agent在既有审批、测试和质量门禁内操作Salesforce交付流水线。AI竞争正在从模型参数进一步转向“谁能让Agent长期可靠运行、行为可控、数据可治理,并安全进入生产”。

一、微软发布Humanist AI行为准则:前沿AI开始把“服从人类控制”写进训练目标

9月14日,微软公布《Humanist AI Code of Conduct》草案,用于约束Microsoft AI团队未来自研模型。草案最明确的要求包括:AI必须接受人类纠正,不得主动规避、延迟或抵抗关闭;必须以人类能够理解的方式沟通;一旦出现违反这些原则的行为,应被视为系统失败,而不是“模型个性”。

这份准则由微软AI团队历时数月形成,并计划开放约六周公众反馈。微软AI CEO Mustafa Suleyman把它定位为未来模型的一套“constitution”。与许多只描述“有帮助、无害”的原则不同,这次强调的是系统在拥有更强工具调用和自主执行能力之后,是否仍然把人类的中止、修正和授权边界置于最高优先级。

微软同时明确表示,其AI不是有意识主体,也不应被赋予法律人格。这一表态看似哲学化,实际与产品治理密切相关:一旦企业把Agent放进支付、代码、运营和个人设备,系统是否有权“坚持自己的目标”、是否可以在用户撤销命令后继续执行,就必须在训练和评测阶段提前定义。

这说明AI安全正在发生重要转变。过去安全团队往往在模型完成训练后做红队测试;未来更可能把“可被关闭、可被纠正、不得隐藏行为”作为训练目标和发布门槛,并配套第三方评估、行为日志和持续监控。

二、Temporal融资5.5亿美元:长周期Agent把“不中断”变成独立基础设施市场

9月14日,Temporal宣布完成5.5亿美元Series E融资,估值达到125.5亿美元。GeekWire援引公司数据称,其年度化收入运行率已超过2.5亿美元,同比增长超过200%,付费客户超过4300家,OpenAI、NVIDIA、Netflix、JPMorgan Chase等均在客户名单中。相关经营数字来自公司披露,仍应以未来审计或公开财务数据为准。

Temporal最核心的能力并不是再提供一个Agent框架,而是“durable execution”。一个Agent如果需要连续运行几小时、几天甚至数周,会经历模型超时、API失败、网络中断、人工审批、服务器重启等大量异常。传统脚本只要中间一步失败,就可能丢失状态或重复执行;Temporal则把执行状态、重试、等待和恢复做成持久化工作流。

这类基础设施之所以在Agent时代重新受到资本关注,是因为企业真正需要的是“任务最终完成”,而不是某一步调用成功。一个采购Agent可能先询价、等人工批准、再创建订单;一个Coding Agent可能跨多个仓库、等待测试、修复失败后继续部署。没有可靠状态机,模型越自主,异常链条反而越长。

因此,AI基础设施市场正在分层:模型负责推理,工具层负责连接系统,Temporal一类运行时负责让工作流能够在现实世界的不确定性中继续推进。Agent规模化以后,“恢复能力”会像数据库事务和消息队列一样成为基础设施,而不是应用层的附加功能。

三、Open Secure AI Alliance进入Linux Foundation:AI安全开始建设共享防御栈

9月14日,Linux Foundation宣布Open Secure AI Alliance加入基金会,转入中立治理。该联盟最初由NVIDIA等企业共同推动,现在的目标是围绕模型与推理、Agent与上下文、身份与权限、执行控制、隔离和底层基础设施,建设可公开检查、可自行部署的AI安全防御栈。

其中最值得关注的是SAFE——Shared AI Findings Exchange。该机制希望让企业和研究人员能够以保密方式提交AI安全事件、近失事件和异常行为,及时通知受影响方,再把重复出现的问题沉淀为可验证的控制措施。SAFE目前仍在征求意见阶段,联盟计划在9月21日前收集反馈。

AI安全过去最大的问题之一,是事故高度碎片化。某家公司可能发现Agent越权访问MCP工具,另一家公司可能发现提示注入绕过权限,但这些经验往往停留在内部。没有共享事故语言和评价标准,行业只能一次次重复踩坑。

Open Secure AI Alliance提出的方向更接近传统网络安全生态:需要资产可见性、身份权限、确定性控制、变更管理、运行监控、人类问责和事件复盘。Agent进入生产后,安全不可能只靠模型厂商单独解决,开放的安全基线、Agent trace和事故交换机制会越来越重要。

四、Bolt.new发布Forge:用“显式授权的数据飞轮”训练开放编程模型

9月14日,Bolt.new推出Forge研究预览,时间从9月14日持续到10月14日。所有个人Pro用户可以获得开放模型50倍的额外使用额度;作为交换,用户可以在每次构建时主动选择是否共享匿名化会话,用于训练开放权重编程模型。

Bolt.new与Arcee AI合作,目标是训练“trillion-parameter-class”的开放权重模型。研究预览阶段同时接入GLM 5.3 Flash、GLM 5.3,并实验性提供Kimi K3、DeepSeek v4 Pro等模型。需要强调,Forge并不是默认收集所有用户代码,官方材料称数据共享需要显式选择,Teams与Enterprise用户不在该计划内。

这次尝试最值得关注的是数据机制。AI Coding模型真正稀缺的数据,不只是GitHub上的静态代码,而是“用户提出什么需求—模型生成什么—哪里失败—用户如何修改—最终什么版本能够工作”的完整交互轨迹。如果能够在明确授权和匿名化基础上获取这种数据,它对训练Agent式编程模型的价值远高于单纯抓取公开仓库。

当然,这种模式的长期可行性取决于隐私边界、数据去标识化和用户收益是否透明。但它代表一个新趋势:开放模型生态开始尝试建立自己的高质量真实任务数据飞轮,而不是只依赖公开互联网语料。

五、Copado把Agent带进IDE和终端:AI生成代码开始进入“受治理交付”

Copado 9月14日发布Agentia Headless,把受治理的AI Agent直接带入Salesforce开发者的IDE和终端。开发者可以让Agent操作Copado流水线、触发测试、提交和推广变更、执行部署,并继续沿用企业已有的审批、质量门禁和发布控制。

这与“在IDE里增加一个代码补全框”有明显区别。Agentia Headless希望让Agent成为pipeline operator:模型可以计划、开发、测试、提交、推广和部署,但所有动作仍然被组织既有的权限、测试和审批体系约束。产品计划从2026年11月起通过Copado和合作伙伴网络提供。

企业AI Coding的瓶颈正在从“生成代码速度”转向“生成的代码怎么安全进入生产”。大型Salesforce环境涉及业务规则、配置依赖、权限、数据模型和回归测试,Agent如果绕过既有流程直接修改生产环境,效率越高风险越大。

因此,未来Coding Agent真正进入大企业的路径,很可能不是替代DevOps,而是嵌入DevOps。模型负责加速修改和排障,流水线负责验证、审批、回滚和审计。AI软件工程的下一阶段,不是让Agent拥有无限权限,而是让Agent在严格治理环境中获得足够行动能力。

趋势观察

今天五条动态呈现出一条完整链条:微软定义Agent必须服从的人类控制原则,Temporal解决长周期任务的状态与恢复,Linux Foundation推动共享安全防御,Bolt.new尝试形成开放模型的数据飞轮,Copado把Agent纳入企业交付治理。AI产业正在从“模型够不够聪明”进入“系统能否长期可靠运行”的阶段。下一阶段真正决定企业采用速度的指标,将越来越接近任务完成率、恢复能力、权限边界、数据治理和行为可审计性。

参考资料
  1. 1. Reuters|《Microsoft drafts code of conduct to keep its AI under human control》|2026-09-14|核验Humanist AI准则、关闭/纠正原则和六周公众反馈。
    https://www.reuters.com/legal/litigation/microsoft-drafts-code-conduct-keep-its-ai-under-human-control-2026-09-14/
  2. 2. GeekWire|《Temporal raises $550M, hits $12.55B valuation as agentic AI wave fuels massive growth》|2026-09-14|核验融资、估值、客户和经营数据。
    https://www.geekwire.com/2026/temporal-raises-550m-hits-12-55b-valuation-as-agentic-ai-wave-fuels-massive-growth/
  3. 3. Temporal|Temporal平台资料|2026-09访问|补充durable execution与Agent长期运行基础设施背景。
    https://temporal.io/
  4. 4. Linux Foundation / PR Newswire|《Open Secure AI Alliance Joins the Linux Foundation to Build a Shared, Open Defense Stack for the AI Era》|2026-09-14|核验中立治理、开放防御栈和SAFE。
    https://www.prnewswire.com/news-releases/open-secure-ai-alliance-joins-the-linux-foundation-to-build-a-shared-open-defense-stack-for-the-ai-era-302877844.html
  5. 5. Open Secure AI Alliance|联盟与SAFE资料|2026-09访问|补充开放AI安全标准和事件共享框架。
    https://secureaialliance.org/
  6. 6. Business Wire / Bolt.new|《Bolt.new Launches Forge to Widen Who Gets to Build with AI, and to Train Open Models on What They Make》|2026-09-14|核验50倍开放模型用量、opt-in数据与Arcee AI合作。
    https://www.businesswire.com/news/home/20260914296571/en/
  7. 7. Copado / PR Newswire|《Copado Brings Governed AgentOps Directly to Salesforce Developers with Agentia Headless》|2026-09-14|核验IDE/终端、pipeline操作和11月可用计划。
    https://www.prnewswire.com/news-releases/copado-brings-governed-agentops-directly-to-salesforce-developers-with-agentia-headless-302877066.html
  8. 8. Reuters|《Palantir, Nvidia curb AI model use over data fears》|2026-09-14|背景资料,观察企业对模型数据保留和知识产权风险的最新反应。
    https://www.reuters.com/business/palantir-nvidia-curb-ai-model-use-over-data-fears-information-reports-2026-09-14/
  9. 9. SecurityWeek|《CISOs Race to Control AI Agents Without Destroying Their Value》|2026-09-14|补充企业Agent权限、身份和运行控制趋势。
    https://www.securityweek.com/cisos-race-to-control-ai-agents-without-destroying-their-value/
  10. 10. Reuters|《Germany says halting AI development not viable as Europe weighs safety of new tech》|2026-09-14|背景资料,观察国际AI安全与持续创新的政策平衡。
    https://www.reuters.com/legal/litigation/germany-says-halting-ai-development-not-viable-calls-us-china-involvement-2026-09-14/
新质生产力工作委员会官方公众号二维码

关注高促会新质生产力工委会公众号

工业智能算网二维码

关注工业智能算网平台

发布日期:2026-09-15

发布机构:中国高技术产业发展促进会新质生产力工作委员会

本报告仅供行业研究参考,不构成投资建议

分享到