9月13日，2026中国算力大会披露了一套国产GPU与类脑芯片协同的大模型异构混合推理系统：Attention交给通用GPU，FFN交给类脑芯片，再由模型编译器、高速互联和统一推理引擎串起来。据项目方披露，系统已在“DeepSeek V4 Flash”上完成调优验证，相比同类国产GPU集群，推理输出和能效均提升1倍以上，运营成本降低40%以上。央广网将其称为国内首个该类系统。[1]
这些数字很吸引人，但在独立测试、模型配置、精度、批量、上下文长度、芯片数量与功耗口径公开之前，它们首先应被视为项目方结果，而不是可横向采购的结论。真正值得技术决策者注意的，是它把国产算力竞争从“哪颗芯片峰值更高”推到了更困难、也更现实的一层：不同芯片能否被同一套系统软件组织成稳定、经济、可持续演进的生产能力。
一、Transformer本来就是多种负载的混合体
“把Attention给GPU、把FFN给类脑芯片”听起来像自然分工，但Transformer并不是两个独立程序的简单拼接。
以自回归大模型为例，推理至少分为prefill和decode两个阶段。Prefill一次处理较长提示词，矩阵乘法规模较大，通常更容易把计算单元吃满；decode每步只生成一个或少量token，要反复读取模型权重和不断增长的KV cache，常常更受显存带宽、访存延迟及调度开销约束。原始Transformer由Attention与逐位置FFN交替构成，[2] 但同一算子在不同批量、序列长度和并行策略下，瓶颈会改变。
Attention也不是一种固定负载。Prefill中的注意力计算量随序列长度显著增长；decode则持续读写KV cache。FlashAttention通过分块与减少高带宽内存访问提高效率，说明“少搬数据”有时比“多做浮点运算”更重要。[3] FFN主要由大矩阵乘法和激活函数组成，在稠密模型里参数占比很高；如果是MoE模型，还会增加路由、专家负载不均和跨设备通信。
因此，异构划分不能只看算子名称，还要回答四个问题：这段子图的算术强度是多少？输入输出要搬多少字节？任务粒度能否覆盖启动和同步开销？芯片是否原生支持所需精度、激活函数与动态形状？Roofline模型早已指出，性能上限由计算峰值与内存带宽共同决定。[4] 若把一个计算只需几十微秒的FFN片段发到另一块卡，却花更多时间在格式转换、传输和同步上，异构反而会变慢。
类脑芯片的潜在价值通常在事件驱动、稀疏计算、低功耗状态更新等方面，而主流大模型仍以稠密张量计算为主。两者要高效结合，往往需要结构化稀疏、低比特量化、激活门控，甚至对模型做协同训练或再训练。换言之，这不是把CUDA算子“翻译”过去，而是算法、编译器和硬件共同设计。
二、决定可用性的第一层：调度器必须看见真实成本
生产级调度器不能只维护一张“Attention→GPU、FFN→类脑”的静态映射表。它至少要掌握每类芯片在不同张量形状、数据类型和批量下的性能曲线，并实时感知队列深度、显存余量、温度降频、链路拥塞与故障状态。
更合理的决策目标不是单算子最快，而是端到端服务等级目标：首token时延（TTFT）、每输出token时延（TPOT）、吞吐、尾延迟和每token成本。在线问答偏好低TTFT，离线词元工厂偏好高吞吐，代码生成和多智能体又可能产生很长上下文。相同模型面对不同业务，最优放置策略并不相同。
调度还必须允许退化运行。类脑节点满载或失联时，FFN能否回落到GPU？回落后的精度是否一致？正在生成的请求是迁移、重算还是失败？若没有可验证的fallback，异构系统节省的平均成本，可能被一次局部故障造成的长尾和中断吞掉。
vLLM提出PagedAttention，以类似操作系统虚拟内存的方式管理KV cache，减少碎片和冗余复制，[5] 其启示正是：推理吞吐的跃升往往来自资源管理，而不只是更快的矩阵核。国产异构栈同样需要连续批处理、抢占、请求优先级、KV块复用和容量隔离，而且这些机制必须跨设备协同。
三、编译器、内存和互联，才是异构系统的“税务局”
异构编译器的核心任务，是把PyTorch等框架中的动态图或计算图，降级成不同后端能够执行的子图，同时保证语义和数值误差受控。TVM的张量表达与自动调优、MLIR的多层中间表示，都展示了可移植编译栈的基本思路：先保留高层算子和形状信息，再逐步完成融合、布局选择、量化、内存规划和目标代码生成。[6][7]
真正棘手的是图边界。每切一次子图，都可能引入张量布局变换、精度转换、设备间复制和同步屏障。若GPU偏好BF16、另一后端偏好INT8或更特殊的事件编码，边界还承担量化与反量化成本。编译器因此需要一个基于实测而非峰值参数的成本模型，并能进行算子融合、常量折叠、异步流水和跨后端内存生命周期分析。
内存问题更不能被“统一地址空间”四个字掩盖。权重放在哪里，KV cache归谁管理，中间激活是否零拷贝，页迁移由谁触发，OOM时牺牲哪个请求，都会直接影响稳定性。即便未来更多采用CXL一类缓存一致互联，其规范解决的是连接与一致性能力，[8] 并不会自动消除远端内存延迟，也不会替应用决定数据放置。
互联则决定异构切分的最小经济粒度。工程上应先测单向/双向有效带宽、不同消息尺寸延迟、并发传输干扰和P99抖动，再确定按层、按子图、按请求还是按流水阶段切分。若AF（Attention/FFN）之间每层都跨芯片往返，链路必须承受高频同步；更粗粒度切分可减少通信，却可能导致设备利用率不均。所谓“高速协议”只有落到可重复的有效带宽和端到端等待占比上，才有采购意义。
四、怎么测，才能避免“1倍提升”变成不可复现的口号
建议把验收分成微基准、模型基准和生产回放三层。
第一层测算子与系统原语：GEMM、Attention、稀疏FFN、量化/反量化、设备间复制、collective通信、内存分配及编译时间。每项同时记录张量形状、精度、功耗和P50/P95/P99，而不是只报峰值。
第二层测完整模型。应固定模型权重、tokenizer、采样参数和精度容差，覆盖短/长输入、短/长输出、batch 1到饱和点，以及稠密和MoE模型。至少设置三组对照：同数量国产GPU集群、异构系统、以及异构系统关闭专用后端后的fallback。MLPerf Inference强调场景、负载生成、准确率约束与可审计结果，[9] 这种方法比挑选一个最有利的演示请求更接近工程验收。
第三层使用脱敏生产轨迹回放，测24至72小时稳态。报告以下指标：
- TTFT、TPOT及端到端P50/P95/P99；
- 每秒输入/输出token，以及每加速卡、每千瓦吞吐；
- 单百万输出token总成本，包含服务器折旧、电力、网络、运维和软件许可；
- HBM/本地内存占用、KV cache命中率、链路利用率与等待时间占比；
- 编译覆盖率、落回通用GPU的算子比例、首次编译和缓存命中时延；
- 质量指标，包括困惑度、任务准确率及量化前后差异；
- 72小时成功率、故障恢复时间、性能离散度和版本升级回归数。
能效测量还需写清边界：只测芯片板卡、整机，还是包含交换机和冷却。运营成本降低40%的说法，只有在相同SLA、相同输出质量、相同折旧周期下才可比较。
五、一条更稳妥的实施路线
阶段一：先建立可观测基线。 用单一国产GPU跑通目标模型和真实流量，收集算子时间、KV占用、尾延迟、功耗与失败原因。没有基线，异构优化就没有方向。
阶段二：离线迁移一个高收益子图。 优先选择计算占比高、边界张量小、形状相对稳定的FFN或专家子图；建立数值一致性测试与自动性能回归。目标不是覆盖率越高越好，而是每增加一个后端，端到端收益仍为正。
阶段三：做双后端在线灰度。 让调度器根据请求特征分流，保留GPU fallback。先以5%—10%流量验证P99、稳定性和成本，再逐步扩大。任何平均吞吐提升都不能抵消SLA恶化。
阶段四：平台化。 将设备能力描述、成本模型、编译缓存、模型制品、监控指标和故障策略标准化；让新模型接入从“厂商驻场改代码”变成可自动测试、可回滚的流水线。最终目标应是硬件可替换，而不是把业务锁进另一套专用接口。
项目立项时可以设三类门槛：性能上，在目标SLA下每节点有效输出token提升至少30%；经济性上，含运维后的百万token成本下降至少20%；工程性上，目标模型算子自动覆盖率超过95%、后端故障可在分钟级恢复，且业务代码不感知设备切换。具体阈值应按业务调整，但必须事先写进验收口径。
六、风险与反方意见
最有力的反对意见是：异构带来的研发和维护复杂度，可能超过省下的硬件成本。这一判断在模型规模不大、流量波动明显、GPU本身利用率偏低时很可能成立。与其增加一种芯片，不如先做好批处理、量化、推测解码和KV cache管理。
第二个风险是模型快速演进。今天适配稠密FFN，明天可能转向MoE、线性注意力或新的低比特格式；专用后端若依赖手工算子，版本速度会落后于模型速度。第三是精度与可解释性：类脑或稀疏化路径若改变数值行为，金融、工业控制等场景不能只凭通用榜单放行。第四是供应链从硬件锁定转为软件锁定：格式、编译器和调度API若不开放，用户仍难以迁移。
因此，“开放核心异构推理框架”若按项目计划推进，是比一次性能发布更重要的信号；但开放范围、许可证、后端接口、测试套件和社区治理仍需观察。项目方声明不等同于已经形成事实上的行业标准。
结语：国产算力的单位，不应是芯片，而应是可交付服务
国产GPU与类脑芯片协同值得期待，因为它直面了一个事实：没有任何单一处理器能在所有Transformer阶段同时取得最高性能、最低功耗和最好成本。但异构的价值也不会由“芯片相加”自动产生。调度器能否做全局取舍，编译器能否稳定覆盖新模型，内存能否少复制，互联能否隐藏传输，运行时能否故障降级，决定了账面算力中有多少能变成用户真正买到的token。
对于技术决策者，下一轮国产算力选型不应只问“多少TOPS、多少显存”，而要追问：在我的模型、流量和SLA下，每百万合格token多少钱？升级一个模型需要多久？坏掉一类设备能否继续服务？结果能否被第三方复现？
回答这些问题的，不是一颗芯片的参数表，而是一整套系统软件。谁能把多样化国产芯片变成统一、可测、可运维、可替换的计算池，谁才真正拥有“可用的国内算力”。
参考资料
1. 央广网 / 移动云：《中国移动新一代大模型异构混合推理系统亮相2026算力大会》，2026-09-13。https://www.cnr.cn/gd/guangdongyaowen/20260913/t20260913_527812317.shtml （系统方案及性能数据均属项目方披露）
2. Vaswani et al., Attention Is All You Need, NeurIPS 2017. https://arxiv.org/abs/1706.03762
3. Dao et al., FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness, NeurIPS 2022. https://arxiv.org/abs/2205.14135
4. Williams, Waterman, Patterson, Roofline: An Insightful Visual Performance Model for Multicore Architectures, CACM 2009. https://doi.org/10.1145/1498765.1498785
5. Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention, SOSP 2023. https://arxiv.org/abs/2309.06180
6. Chen et al., TVM: An Automated End-to-End Optimizing Compiler for Deep Learning, OSDI 2018. https://www.usenix.org/conference/osdi18/presentation/chen
7. Lattner et al., MLIR: Scaling Compiler Infrastructure for Domain Specific Computation, CGO 2021. https://arxiv.org/abs/2002.11054
8. Compute Express Link Consortium, CXL Specification. https://computeexpresslink.org/cxl-specification/
9. MLCommons, MLPerf Inference: Datacenter Benchmark Suite and Rules. https://mlcommons.org/benchmarks/inference-datacenter/
10. Davies et al., Loihi 2: A Neuromorphic Manycore Processor with On-Chip Learning, Intel Labs, 2021. https://download.intel.com/newsroom/2021/new-technologies/neuromorphic-computing-loihi-2-brief.pdf （用于理解类脑芯片的一般架构方向，不代表本文所述项目采用Loihi）