本文选自 Horizon 2026年9月1日技术简报。
摘要
寒序科技公布的 uHBM 与 uLPU 路线，把 MRAM、片内高带宽访问和矩阵—向量计算放在同一套推理架构中，提出首代 uHBM 片内读取带宽 24 TB/s、面向 4B 多模态模型超过 2000 token/s 的目标。数字很醒目，真正值得讨论的却是其技术逻辑：大模型解码阶段为何受权重搬运约束，非易失性 MRAM 如何承担权重驻留，存内或近存计算能节省哪些数据流，又会引入怎样的容量、精度、良率、散热和软件适配问题。现阶段公开数据主要来自企业披露，尚不足以证明其可替代 HBM 与 GPU，但它提供了一条值得验证的专用推理路线。
大模型推理的核心矛盾之一是移动数据
自回归模型在解码阶段一次只生成少量 token。每一步都要访问大量权重，但完成的有效运算相对有限，传统加速器因此容易落入“内存墙”：计算单元理论峰值很高，实际吞吐却由显存带宽决定。以数十亿参数模型为例，即使权重压缩到较低精度，每个解码步骤仍可能需要读取数 GB 数据。如果批量很小，权重读取很难由多条序列充分摊薄，端侧和低延迟场景尤其明显。
HBM 通过更宽接口和堆叠封装提升带宽，是目前训练与高端推理的主流方案。不过，权重仍需从存储阵列跨越互连到计算单元，带来能耗、延迟与封装成本。近存计算把计算单元放到存储附近，存内计算则尝试直接利用存储阵列完成部分运算，两者都希望减少数据往返。
“权重不再搬家”应理解为相对概念。激活、缓存、中间结果和控制信息仍会移动，模型也可能因容量不足分布在多颗芯片上。架构能否成立，取决于省下的权重传输成本是否大于新增的数据转换、阵列控制、片间通信与调度开销。
MRAM 为什么会进入 AI 推理视野
MRAM 以磁性状态保存数据，断电后仍能保持内容，理论上兼具非易失性、较快读取和较高耐久度。与需要持续刷新的 DRAM 不同，MRAM 可让模型权重长期驻留；设备启动时无需从外部存储重新装载全部权重，也有机会降低待机功耗。与 Flash 相比，它的读取延迟和耐久性更适合频繁访问。
但“MRAM”并不是单一技术。STT-MRAM、SOT-MRAM 等路线在写入电流、速度、面积、工艺兼容性上各有取舍。对推理工作负载而言，权重写入频率通常较低，读取远多于写入，这与 MRAM 的特性比较匹配。若模型权重能在芯片部署阶段写入，此后主要执行读取和矩阵—向量运算，写能耗和耐久度压力会小于通用内存场景。
寒序方案披露的思路，是把模型权重保存在 Persistent MRAM 阵列，并在同片完成矩阵—向量相关运算。其验证芯片 SpinPU-ED01 据称集成 120 个 MRAM Bank，并完成第三方检测和连续稳定运行验证。这说明基础器件与片上数据通路已经走过概念展示阶段，但从验证芯片到大容量量产系统仍有很长距离。
24 TB/s 不能脱离口径理解
芯片带宽数字最容易发生口径错位。片内阵列的聚合读取带宽、芯片对外可用带宽、计算单元实际消耗带宽和整机多卡通信带宽并不是同一指标。24 TB/s 若指许多 Bank 并行读取形成的理论片内总带宽，能够说明局部数据供给能力，但不能直接与 HBM 堆栈的外部接口带宽进行等价比较。
评估这类架构至少要追问五件事。第一，数字是在何种数据精度和访问模式下得到的，随机访问与连续读取是否一致。第二，带宽能否被计算阵列持续利用，还是只在短时峰值出现。第三，纠错编码、冗余、数据重排和模数转换是否计入。第四，多芯片扩展时片间互连是否成为新瓶颈。第五，应用层测得的 token/s、首 token 延迟和能耗是否能对应到同一配置。
同理，“4B 模型超过 2000 token/s”也需要明确批量大小、上下文长度、量化位宽、投机解码方式、输入输出比例和模型结构。大批量总吞吐与单用户生成速度差别巨大；若数字是整机总吞吐，不能直接理解为单会话每秒输出两千 token。产业比较应以可复现实测条件为基础。
存算融合真正困难的是完整系统
器件阵列能够完成乘加，并不等于可以高效运行完整 Transformer。模型还包含归一化、激活函数、Softmax、位置编码、路由、采样和 KV Cache 访问。这些运算未必适合 MRAM 阵列，通常需要数字逻辑、片上 SRAM 或外部处理器配合。计算在不同单元之间切换时，数据搬运又可能重新出现。
容量也是关键。4B 参数即使采用 4 bit 权重，理论裸容量也约为 2 GB，实际还需元数据、缩放因子、冗余和缓存。MRAM 单元密度、外围电路面积与成熟制程成本将决定单芯片能装下多少权重。如果需要大量芯片组成 2U Tray 或机架，片间互连、负载均衡、故障隔离和散热会成为系统级挑战。
模拟或混合信号存算方案还要面对器件差异、温漂、噪声和精度漂移。全数字方案更稳定，但面积与能耗优势可能缩小。无论采用哪条路线，都必须回答模型精度损失、校准频率、芯片老化和现场升级问题。基础模型频繁迭代，权重固化速度过慢也会影响商业价值。
软件栈决定芯片能否走出样片
AI 芯片最终面对的是 PyTorch、ONNX、Safetensors、量化工具和各类推理框架。专用架构若要求开发者重写模型，生态成本会非常高。更可行的路线是提供编译器和运行时，把标准计算图转换为阵列可执行的数据流，对不支持的算子自动回退，并给出精度和性能分析。
模型映射还需要解决权重切分、Bank 分配、激活调度、KV Cache 放置和多芯片通信。对于 MoE 模型，专家权重的稀疏激活可能有利于减少访问，却会带来动态路由和负载不均；对于多模态模型，不同模块的算子结构和内存需求差异更大。宣传中的单一 token/s 数字无法覆盖这些复杂性。
产业落地可以先选择权重稳定、批量较小、对能效敏感的场景，如边缘视觉模型、固定行业模型、语音与多模态终端。云端通用模型更新频繁、上下文长、并发模式变化大，对容量和软件弹性的要求更高，未必是首代产品最合适的战场。
一套更可信的验证框架
评价 MRAM 推理系统，建议分四层进行。器件层测试容量、读写延迟、耐久度、温度范围和错误率；芯片层测试持续有效带宽、算力、能效及不同精度；模型层在公开权重和标准数据集上测准确率、首 token 延迟、单流速度、批量吞吐和长上下文表现；系统层则验证多卡扩展、故障恢复、升级时间、运行时兼容和总拥有成本。
比较对象也应覆盖 GPU、NPU、HBM 加速卡及其他近存计算方案，统一模型、精度、批量、功耗口径和冷却条件。若只以片内峰值带宽对比整卡外部带宽，结论容易失真。公开测试脚本、编译参数和功耗测量方法，比再增加一个峰值数字更有价值。
结语
MRAM 存算融合抓住了大模型推理中真实存在的数据移动问题。它可能在固定权重、低批量和高能效场景形成优势，也可能因容量、外围电路、软件栈与量产成本而局限于特定市场。寒序科技路线图值得关注，但现阶段更适合视作工程假设，而不是已经兑现的性能结论。接下来最关键的信号，是量产芯片的独立实测、完整模型的精度数据、不同批量下的端到端能效，以及可供开发者实际使用的软件工具链。
参考资料
- 寒序科技，uHBM 与 uLPU 技术路线公开资料
- Spin Memory and Emerging MRAM Technical Literature
- Horowitz, Computing’s Energy Problem
- Sze et al., Efficient Processing of Deep Neural Networks
- Hennessy & Patterson, A New Golden Age for Computer Architecture