5940亿参数、每次只激活170亿:Inkling 2 Small想把模型竞争带到哪里?

5940亿参数、每次只激活170亿:Inkling 2 Small想把模型竞争带到哪里?封面图
配图为概念示意。

2026年11月7日

11月5日,Thinking Machines Lab公开Inkling 2 Small:5940亿总参数,每个Token约170亿参数参与计算。这两个数字很醒目,但交付路径更能说明它想做什么。公司先把模型放入Tinker平台供开发者测试、微调和推理,完整权重计划在外部安全测试结束后开放,并预告采用Apache 2.0许可。Thinking Machines此前以定制训练服务切入市场,这次把模型放进训练、评估与服务平台,再提出开放权重计划。缺少基础模型训练预算的机构,值得先看这套交付方式能否承接自己的任务。[1][2]

先看参数:594B总量背后是一套稀疏计算组织方式

官方模型卡显示,Inkling 2 Small采用48层解码器结构、稀疏混合专家前馈网络,包含384个专家,每个Token路由到其中8个;注意力层混合使用局部与全局机制,图像经视觉Transformer编码后与文本共同进入模型。594B包括全部专家和公共组件;17B是一个Token前向计算中实际参与计算的近似参数量。混合专家架构让模型增加参数容量,同时避免每次都运行全部专家。在不同任务数据上训练时,路由器能够学习将不同输入分配给不同计算路径,代码、视觉、普通语言和专业术语之间的差异因而可能得到更细的处理。[2]

部署账本仍要按完整权重来做。推理系统仍需容纳大量专家权重,或把权重拆分到多个GPU上,通过通信调度载入所需专家。实际服务速度还受GPU显存、带宽、batch大小、专家负载均衡、注意力缓存、图像输入分辨率和并发数量影响。一台能够跑17B稠密模型的机器,通常不能直接承担594B总量模型的完整托管任务。工程团队做部署评估时,至少要记录模型量化后的权重体积、峰值显存、首Token时延、稳定生成速度和并发时吞吐,另要检查实际运行的权重文件与服务端版本是否相同。把活跃参数当成唯一性能指标会忽视真正的系统成本。

这款模型还提供可变推理强度。不同任务可以选择较少或较多的推理计算,从而在延迟与准确率之间做预算分配。对于企业级服务,这比要求所有调用都使用同一推理模式更接近真实业务:批量文档分类希望单价尽可能低,复杂程序排障则可以容忍较长等待。让模型依据任务等级路由,不同计算模式保持统一接口,将成为未来AI服务平台的常见能力。模型卡还记录了其多语言、工具调用及图像理解适用范围,为部署者提供了比宣传语更具体的选型入口。[2]

Tinker把定制训练接进模型交付

Thinking Machines此前推出的Tinker是模型训练和定制平台。模型开发者可以在其平台上对基础模型做微调、采样和评估,而不必从零组建大规模训练集群。Inkling 2 Small先在Tinker Playground开放试用,再支持平台上的微调和采样,意味着公司希望把模型与训练基础设施绑成完整产品。对客户来说,最直接的好处是省去分布式训练环境、模型版本管理、训练任务调度和中断恢复的一部分复杂工作;对模型公司来说,这样的服务能够形成重复使用的客户关系,而不是一次下载权重就结束交易。[1]

企业为什么需要定制模型?原因常常出现在通用模型的表现最不稳定的地方。采购部门需要抽取合同中的价格、交付和责任条款,研发部门希望模型理解单位制、图纸版本和试验数据,法律团队需要稳定遵守内部判断标准,企业客服要按实际产品与业务规则作答。单靠提示词往往可以完成一部分工作,但在大规模业务下,格式错误、长尾样本遗漏和一致性问题可能形成成本。通过领域数据微调,让模型学习任务特定的输出分布,是一种可选手段;是否值得做要由真实测试集证明,不能凭模型规模决定。一个有几千条高质量已审核样本的项目,往往比一批来源不明、标签含混的大规模资料更适合用于训练质量提升。

定制服务还有一个经常被忽视的优势:它可以把组织中的业务标准变成可比较的评估集合。优秀工程团队不会在训练完毕后只让同事随便提几个问题,而应将困难样例按任务拆分,建立验证集、回归集和人工抽样复核机制,记录每个模型版本的错误类型及改进幅度。对软件工程智能体,应区分“代码能生成”“测试能通过”“改动符合规范”“不会破坏已有模块”。对多模态系统,应记录图表识别、表格跨页、图纸符号、图文关系等不同项目的通过率。Tinker这类平台若能长期提供可比的训练和评估记录,其客户价值将来自反复改善业务结果的能力。

权重尚未开放,先按托管服务评估

官方11月5日的公告写得明确:Inkling 2 Small发布时通过Tinker提供,模型权重仍未公开;公司计划在外部安全测试和红队评估完成后,于随后一周采用Apache 2.0许可开放完整权重。这里有两层含义。第一,社区期待的开放权重是一种未来条件性安排,应关注实际文件发布、检查点格式、许可证正文和可复现部署工具。第二,公司主动把安全评估放在权重开放之前,说明它希望在行业对强大模型的监管预期与开发者对开放的需求之间找到执行路径。无论开放日期是否完全按计划兑现,都应该以权重仓库和许可文件为最终依据。[1][2]

Apache 2.0许可相对宽松,通常允许商业使用、修改和分发,并包含明确的专利授权条款。对于希望构建本地私有部署、专用推理服务或基于该模型二次训练的公司,正式开放后有潜在吸引力。不过许可证并不能替代权重发布时的模型卡、安全建议和依赖组件清单。一个完整的企业交付还需要部署脚本、模型校验哈希、可选量化文件、GPU兼容性、性能基线以及升级策略。开放权重的经济价值最终取决于是否真的能够以可接受的资源成本运行、改造并维持稳定服务。

从市场结构看,这种“先在托管平台快速提供服务,再交付开放权重”的路线十分有意思。愿意付费购买速度、稳定性和托管训练的客户,不必自己管理算力;重视数据主权与长期迁移能力的客户,则可以研究日后的私有部署。这两类诉求可以同时存在,并不天然冲突。对模型厂商而言,开放也可能带来服务标准化压力:如果同一权重能被多个推理服务商运行,性能、价格、工具体验与平台附加价值将成为新的竞争焦点。

5940亿参数、每次只激活170亿:Inkling 2 Small想把模型竞争带到哪里?正文示意图
配图为概念示意。

榜单分数应该怎么读:评测决定模型的产品定位

Thinking Machines给出的Artificial Analysis Intelligence Index得分为31,并称模型在代码智能体、视觉、知识任务和推理方面相对上一代进步。技术博客还展示了网站设计相关的评测结果,其中模型通过视觉回看自己生成的界面并进行修正。对开发者而言,评价新模型至少需要分成三层:通用基准反映总体能力范围,专业基准反映特定任务技术表现,企业内部评估才决定某种工作流是否真的可用。三者经常出现不一致。一个在代码基准上领先的模型,也可能在某个企业长期维护的特定语言、冷门框架、内网文档和权限控制流程中暴露失败模式。[1]

软件智能体尤其依赖外部执行环境。模型写出代码后,工具是否真正运行、测试数据是否可靠、版本库是否允许修改、出现错误后如何回滚,都影响最后产出。把这些能力放入同一评测系统,通常比比较模型对一道孤立题目的回答更能代表实际生产力。对研发团队来说,可以从30至50个重复出现但又容易失败的真实任务起步,固定执行权限与输入材料,记录完成率、人工修订时间、工具调用费用和失败原因,再逐步扩大样本规模。

在工业、科研和政务场景下,还要增加数据边界和审计指标。代码智能体可以访问哪个项目、模型有没有把敏感文件用于外部请求、领域参数是否有来源、生成的结论能否找到相关计算或文档,都应在部署前确定。模型卡提供的是基础能力描述,企业采购判断则需要现场测试。考虑到混合专家模型复杂度较高,良好的监控与任务跟踪甚至可能比再提高几个通用测试点更有价值。

工业智能体需要可替换的模型后端

制造企业很少只需要一个会对话的模型。它们需要能识别设备状态、检索设计文件、解释工艺标准、连接PLM/MES/ERP、组织专业软件计算并生成可追溯报告的岗位智能体。模型在这样的系统中更像推理和交互组件,外面还有权限层、文件系统、业务工具、状态管理和审计服务。Inkling 2 Small展示的模型定制路线可以提供一个补充思路:通用底座负责跨任务语言与视觉理解,专业小模型和确定性工具负责数值计算、设备诊断、标准匹配、工艺校核等可验证业务。模型之间的责任边界需要通过工具接口与回归测试固化,而不是仅靠提示语解释。

企业还应把长期模型替换能力当作设计目标。今天一个模型适合代码,明天另一个更适合视觉,工业AI平台不能因模型更换而重建整个文件权限和业务系统。较好的架构是在应用侧维护稳定的任务接口、数据合同、日志规范和知识目录,把模型作为可替换的后端。在本地化部署中,可以通过专业规则、检索、缓存以及小模型协作降低大模型的推理负担。未来真正体现长期价值的资产,很可能是领域数据质量、已验证的工具链、业务评估集和持续改进机制。

模型微调真正困难的是数据选择与长期维护

许多企业讨论模型定制时,第一反应是把全部历史文件做成训练材料。这样的做法很容易把陈旧制度、相互矛盾的版本、未完成的讨论稿及权限不清的附件混在一起。更稳妥的路径是先定义目标任务,找到专业人员日常处理的高频问题,将输入、决策依据和正确输出整理成小规模案例。随后以人工审核确定是否存在反例、边界案例和跨部门冲突,再决定哪些材料适合进入监督微调,哪些应留在检索系统中按需使用。工艺手册会更新,产品参数会调整,法规会修订;这些持续变化的知识通常更适合由版本化文档与实时工具提供,而稳定的表达规则、格式偏好和任务策略才可能成为微调收益的主要来源。

训练后的维护同样要计入成本。一次有效的迭代通常包括数据修订、训练作业、离线回归、灰度部署、在线监控、用户反馈回收和下一次样本更新。如果模型被引入高责任岗位,额外需要异常处理流程以及专家签字边界。企业专属模型需要持续运行的数据、评估和部署体系。将每一项改进与实际任务质量对应,管理层才知道下一笔预算应该花在新模型、数据标注、工具开发还是业务流程重构上。也正是在这些环节,Tinker式的训练服务能否提供可靠日志、作业复现和模型迁移能力,会比宣传材料中的单个榜单更加影响客户续费。

这还给中小模型公司带来机会。通用模型能力逐渐趋近时,掌握专业数据和任务评估的公司可以围绕一个明确领域开发训练工具、评估服务和推理加速组件。它们无需从头训练万亿参数模型,也有机会以垂直工作流积累长期客户。开放权重、托管平台和任务专用模型之间的组合,会持续改变企业AI的采购结构。

这也解释了它的商业逻辑。Thinking Machines发布的是一个具备视觉、编码与通用推理能力的新模型,但它把重点放在Tinker训练平台上,又承诺未来开放权重。它希望同时拿到开发者生态、客户训练需求以及模型运行服务三个入口。企业可以先准备真实任务集和资源账本;待权重公开,再用相同任务和相同成本口径做一次严格对比,结果才有采购意义。

参考资料

  1. Thinking Machines Lab,《Introducing Inkling 2 Small》,2026-11-05:https://thinkingmachines.ai/news/inkling-2-small/
  2. Thinking Machines Lab,《Inkling 2 Small Model Card》,2026-11-05:https://thinkingmachines.ai/model-card/inkling-2-small/
  3. Thinking Machines Lab,《One Year of Tinker: Turning Your Expertise into Custom Models》,2026-10-15(背景):https://thinkingmachines.ai/news/
分享到