2026年9月13日，中国算力大会披露了一套由移动云、中国电子科技南湖研究院、北京灵汐科技、上海天数智芯、清华大学和北京大学联合打造的“大模型异构混合推理系统”。公开报道给出的核心思路是：把Transformer中的Attention交给国产通用GPU，把FFN（前馈网络）交给类脑芯片，再由自研模型编译器、高速互联协议和统一推理引擎完成拆分与协同。
项目方披露，该系统已在“DeepSeek V4 Flash”上完成调优验证，相较同类国产GPU集群，推理输出与能效均提升1倍以上，运营成本降低40%以上；央广网称其为国内首个国产GPU与类脑芯片协同的大模型异构混合推理系统。[1] 在模型配置、量化方式、并发规模、芯片数量、功耗边界和测试数据集完整公开之前，这些数字应被视为项目结果，而不是已经获得独立复现的通用结论。
但这条路线仍然重要。它意味着国产算力竞争开始从“替换一颗GPU”转向“用系统软件组织多种芯片”。而大模型推理真正昂贵的部分，恰恰不只在矩阵乘法本身，还在显存、数据搬运、动态批处理、跨设备同步、故障恢复和持续适配新模型。
一、先拆开Transformer：prefill与decode不是同一种工作
把Attention和FFN分给不同芯片，首先要理解Transformer推理并不是一个均匀负载。
自回归模型通常分为两个阶段。Prefill一次处理用户输入的全部token，矩阵规模较大、并行度较高，更容易把计算单元吃满；decode则逐token生成，每一步都要读取模型权重，并访问持续增长的KV cache。前者往往更偏计算密集，后者更容易受显存带宽、访存延迟和调度开销限制。
Attention内部也存在阶段差异。在prefill中，注意力计算与序列长度高度相关；在decode中，新token要查询此前积累的键和值，KV cache的容量、布局和搬运效率会迅速成为瓶颈。FlashAttention的价值正是通过分块和减少高带宽内存读写提高实际性能，说明“少搬一次数据”可能比提高纸面FLOPS更有效。[2]
FFN通常包含两次大矩阵乘法和非线性激活，在稠密模型中占据大量参数与计算。如果类脑芯片能以事件驱动、稀疏激活或低比特方式只计算真正活跃的部分，理论上可能获得能效优势。但主流LLM的FFN本质上仍是稠密张量程序，而传统类脑架构更擅长脉冲、稀疏和状态更新。两者之间并不存在天然的“复制代码即可运行”。
因此，所谓Attention—FFN分离不能只按算子名称硬切。系统至少要回答：子图的算术强度有多高？边界要传输多少字节？一次任务是否足够大，能够覆盖启动和同步成本？两类芯片支持的BF16、FP16、INT8乃至更低比特格式是否一致？稀疏化或事件编码是否改变模型精度？Roofline模型所揭示的基本规律仍然成立：有效性能同时受计算峰值和内存带宽约束。[3]
二、类脑芯片要获得工作，模型本身可能也要改变
异构推理最容易被忽略的一点是：硬件分工可能反过来要求模型协同设计。
如果把原始稠密FFN原封不动地映射到类脑芯片，专用硬件未必能发挥优势。更现实的路径可能包括结构化稀疏、激活门控、低比特权重、局部专家化，或在训练阶段加入硬件约束，使模型产生更稳定的稀疏模式。对于MoE模型，还要处理专家路由、负载倾斜和跨设备通信，不能假设“FFN都适合放到专用芯片”。
这也带来精度风险。GPU后端使用BF16，而类脑后端使用INT8、INT4或事件表示时，边界上会发生量化、反量化和布局转换。单层误差很小，不代表几十层累积后仍然等价。系统必须对困惑度、长文本一致性、代码正确率、推理任务准确率和安全拒答行为做回归，而不能只比较token/s。
类脑芯片在该项目中的具体微架构、数据格式和稀疏机制，公开报道并未充分展开。因而目前可以确认的是“项目采用类脑芯片承担FFN”的系统设计；至于能效来自事件驱动、稀疏执行、存算组织还是其他机制，仍应等待技术论文、白皮书或可审计代码。这里不宜把其他类脑处理器的特征直接套用到该项目上。
三、编译器决定这套系统能否跟上模型迭代
异构硬件要成为算力池，第一道门不是驱动，而是编译器。
编译器需要从PyTorch等框架捕获计算图，识别可下沉到类脑芯片的子图，再分别完成算子融合、张量布局选择、量化、内存规划和目标代码生成。TVM与MLIR展示了多层中间表示的基本价值：高层保留模型语义和动态形状，低层逐步贴近具体硬件。[4][5] 对国产异构系统而言，更关键的是建立稳定的后端接口，而不是为每个模型手工改一套算子。
难点集中在“切图边界”。每切一次，可能增加设备间复制、布局变换、精度转换和同步屏障。如果某段FFN只执行几十微秒，却需要更长时间把激活送往另一块芯片，异构就会产生负收益。因此，编译器的成本模型不能使用厂商峰值参数，而要读取实测数据：不同形状的算子耗时、不同消息尺寸的链路延迟、内存压力及并发干扰。
编译覆盖率同样必须诚实呈现。一个模型即使“成功运行”，也可能只有部分层落到专用后端，其余算子悄悄回落GPU。验收时应同时报告可编译子图比例、实际执行时间占比、fallback次数、首次编译时间和编译缓存命中率。覆盖率高不一定更快，但不公开覆盖率，就无法解释收益来自哪里。
四、互联与内存，是异构系统最昂贵的隐形税
把两种芯片装进同一机箱并不等于它们拥有同一块快速内存。权重放在哪里、KV cache由谁管理、中间激活是否经过主机内存、页迁移何时发生，都会决定端到端性能。
一个常见设想是：GPU保留Attention权重和KV cache，类脑芯片保留FFN权重，每层完成Attention后将激活送到类脑侧，再把结果传回GPU。这种切法能避免反复搬运大规模权重，却会在每一层形成往返同步。模型层数越多，消息越碎，链路延迟越可能盖过专用计算收益。
另一种办法是采用更粗粒度流水，例如按若干层或请求类型分配设备，以减少跨芯片次数。但切分越粗，负载越难均衡，也更容易出现一类芯片等待另一类芯片。所谓“高速互联协议”必须转化为可测指标：单向和双向有效带宽、1 KB到数百MB不同消息尺寸的延迟、并发下P99抖动、数据复制是否占用CPU，以及通信与计算能否真正重叠。
KV cache则主要服务Attention，通常应尽量靠近执行Attention的GPU。可一旦系统采用prefill/decode分离、请求迁移或多级缓存，KV的所有权会变复杂。PagedAttention说明，页式管理、连续批处理和减少碎片本身就能显著改善吞吐。[6] 异构系统如果没有统一的内存调度，可能在FFN上节省能耗，却在KV复制和内存碎片上把收益重新花掉。
CXL等一致性互联可以扩展可访问内存并简化连接，但“一致可见”不等于“本地一样快”。[7] 远端内存的延迟、带宽争用和故障域仍需由运行时显式管理。统一地址空间是编程抽象，不是性能保证。
五、调度目标不应是单算子最快，而是合格token最便宜
生产调度器不能只有一张静态表：Attention去GPU，FFN去类脑芯片。它必须知道模型、输入长度、预期输出长度、batch、精度和当前队列，并持续感知显存余量、链路拥塞、设备温度和故障状态。
在线问答重视首token时延（TTFT）；长代码生成更关注每输出token时延（TPOT）及KV容量；离线“词元工厂”追求吞吐和每token能耗。相同硬件在不同服务等级目标下，最优策略可能完全不同。调度器应优化的是端到端SLA下的单位合格token成本，而不是让每块芯片的利用率看起来都很高。
系统还必须能退化运行。类脑节点满载、失联或编译失败时，FFN能否回落GPU？回落前后数值行为是否在容差内？生成到一半的请求是迁移、重算还是中断？如果没有GPU fallback、版本回滚和熔断机制，平均能效提升可能被少数长尾故障抵消。
六、“提升1倍、降本40%”应该怎样被诚实验证
最可靠的验收应分三层。
第一层是微基准。 分别测GEMM、Attention、稀疏FFN、量化与反量化、设备间复制、集合通信、内存分配和编译。每项公开张量形状、数据类型、热身方式、持续时间、P50/P95/P99和功耗，而不是只给最优峰值。
第二层是完整模型。 固定权重、tokenizer、采样参数和输出质量容差，覆盖短输入短输出、长输入短输出、短输入长输出和长输入长输出，并从batch 1测试到系统饱和。至少设置三组对照：同数量同代国产GPU集群、GPU+类脑异构系统、异构系统关闭专用后端后的GPU fallback。MLPerf Inference关于场景、准确率约束和可审计结果的设计值得借鉴。[8]
第三层是生产轨迹回放。 使用脱敏后的真实请求分布连续运行24至72小时，报告TTFT、TPOT、端到端P99、输入与输出token吞吐、每千瓦吞吐、失败率、性能离散度、故障恢复时间及版本升级后的回归结果。
成本也必须统一边界。每百万输出token成本应包含服务器折旧、电力、网络、交换设备、冷却、软件许可和运维；能效应说明测的是芯片板卡、整机还是整个机柜。若异构系统输出质量降低、并发模型不同或只计芯片功耗，“运营成本降低40%”就不能与另一系统直接比较。
因此，本文对项目数字的标注是明确的：“输出和能效提升1倍以上、运营成本降低40%以上”均为项目方披露，尚不是本文独立验证结论。 真正有说服力的下一步，是公布测试配置、准确率约束、原始日志和第三方复现实验。
结语：国产算力的最终单位，是可交付的服务
国产GPU与类脑芯片协同并不是简单的“两种芯片相加”。它要求模型结构、编译器、内存、互联、运行时和调度器共同优化。任何一层处理不好，专用芯片节省的计算都可能被传输、等待、回落和运维复杂度吃掉。
这条路线最值得期待的地方，也正在于它逼迫国产算力补齐系统软件：让不同硬件可以被统一描述、统一编译、统一观测、动态调度并在故障时替换。未来采购方不应只问多少TOPS、多少显存，而应问：在我的模型、流量、精度和P99约束下，每百万合格token多少钱？新模型多久能接入？一类设备故障后还能否继续服务？结果能否由第三方复现？
只有当这些问题有稳定答案，“国产GPU+类脑芯片”才从一次架构展示，变成真正可用、可运营、可持续演进的国产算力。
参考资料
- 央广网 / 移动云：《中国移动新一代大模型异构混合推理系统亮相2026算力大会》，2026-09-13。https://www.cnr.cn/gd/guangdongyaowen/20260913/t20260913_527812317.shtml （系统组成及性能数字为项目方披露）
- Dao et al., FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness, NeurIPS 2022. https://arxiv.org/abs/2205.14135
- Williams, Waterman, Patterson, Roofline: An Insightful Visual Performance Model for Multicore Architectures, CACM 2009. https://doi.org/10.1145/1498765.1498785
- Chen et al., TVM: An Automated End-to-End Optimizing Compiler for Deep Learning, OSDI 2018. https://www.usenix.org/conference/osdi18/presentation/chen
- Lattner et al., MLIR: Scaling Compiler Infrastructure for Domain Specific Computation, CGO 2021. https://arxiv.org/abs/2002.11054
- Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention, SOSP 2023. https://arxiv.org/abs/2309.06180
- Compute Express Link Consortium, CXL Specification. https://computeexpresslink.org/cxl-specification/
- MLCommons, MLPerf Inference: Datacenter Benchmark Suite and Rules. https://mlcommons.org/benchmarks/inference-datacenter/
- Vaswani et al., Attention Is All You Need, NeurIPS 2017. https://arxiv.org/abs/1706.03762
- Davies et al., Loihi 2: A Neuromorphic Manycore Processor with On-Chip Learning, Intel Labs, 2021. https://download.intel.com/newsroom/2021/new-technologies/neuromorphic-computing-loihi-2-brief.pdf （仅用于理解一般类脑架构方向，不代表本项目采用Loihi）
说明：本文对公开报道中的项目方性能主张均作了明确标注；关于系统瓶颈、验收方法与实施判断的内容，属于基于公开资料和通用大模型推理原理的工程分析。