摘要：三星在 Hot Chips 2026 展示了基于 LPDDR5X 的 PIM 方案，在16个DRAM Bank旁布置乘加计算单元，利用芯片内部614 GB/s的并行带宽执行低精度矩阵运算。它针对的并非算力不足，而是大模型推理中权重反复搬运造成的带宽、能耗和成本压力。工作硅片与性能数据说明PIM正在从概念验证走向系统验证，但缓存一致性、任务切换、内存映射和软件适配仍决定着它能否进入通用计算平台。
摘要
三星在 Hot Chips 2026 展示了基于 LPDDR5X 的 PIM 方案，在16个DRAM Bank旁布置乘加计算单元，利用芯片内部614 GB/s的并行带宽执行低精度矩阵运算。它针对的并非算力不足，而是大模型推理中权重反复搬运造成的带宽、能耗和成本压力。工作硅片与性能数据说明PIM正在从概念验证走向系统验证，但缓存一致性、任务切换、内存映射和软件适配仍决定着它能否进入通用计算平台。
过去几年，AI芯片的宣传重点一直是算力：多少TOPS、多少TFLOPS、能否容纳更大的模型。然而在大模型推理中，乘加单元并不总是最忙的部分。尤其是单用户或小批量推理，系统需要持续从内存读取模型权重，再把权重送到GPU、NPU或其他加速器。大量晶体管在等待数据，芯片标称算力与实际吞吐之间出现明显落差。
这类矛盾通常被称为“内存墙”。它存在了几十年，只是在生成式AI时代变得更加尖锐。模型参数越多，每生成一个Token需要读取的数据越多；批量越小，权重越难被多个请求复用。扩大外部总线、堆叠HBM、增加缓存都能缓解问题，但相应带来封装、功耗和成本压力。三星在Hot Chips 2026展示的LPDDR5X-PIM，选择了另一条路径：让部分计算直接发生在DRAM内部或附近，尽量不让数据离开内存芯片。
614 GB/s来自哪里
普通LPDDR5X-9600通过外部接口传输数据，理论带宽约为76.8 GB/s。DRAM内部则被划分为多个Bank，每个Bank都有行缓冲和读写电路。传统访问即使同时激活多个Bank，数据最终仍需汇入有限宽度的外部通道，芯片内部潜在并行能力无法充分发挥。
三星的设计在16个Bank旁分别放置PIM计算模块。每个模块包含低精度乘加树、寄存器文件和控制逻辑，可直接读取所连接Bank中的权重。16个模块并行工作时，能够利用约614 GB/s的芯片内部带宽，数字上约为普通外部访问带宽的8倍。需要强调的是，外部接口并没有突然加宽八倍；带宽提升来自“数据不出内存封装”，计算单元在数据所在位置完成工作。
PIM模块支持INT8、FP8以及4比特权重等低精度格式，单颗封装的峰值计算能力约2.4 TOPS。与高端GPU相比，这个数字并不醒目，却足以说明PIM的定位。它不试图替代GPU中规模庞大的矩阵核心，而是接管那些数据搬运占主导、计算模式较规整的操作。在低批量大模型推理中，矩阵—向量乘法往往受制于带宽，给每个Bank配置少量计算单元，可能比继续堆叠集中式算力更划算。
三星公布的测试显示，LPDDR5X-PIM在部分AI推理任务中可获得约2.28倍运行速度提升，按每秒生成Token计算的峰值增益达到3.01倍。这些结果仍属于厂商选择的工作负载，不能直接外推至所有模型，但它至少表明工作硅片已经能够跑完整任务，PIM的讨论正从电路可行性进入系统收益验证阶段。
尽量兼容标准内存控制器
PIM长期难以落地，一个重要原因是它容易破坏现有计算机体系。CPU和操作系统把DRAM看成被动存储设备，一条读取命令理应只取回数据，不应顺便触发计算。若换用全新的接口，主板、内存控制器、操作系统和编译器都要改变，产业采用成本很高。
三星此次方案尽量保留LPDDR5X协议，通过预留特殊行地址来控制PIM。软件先以普通模式把权重写入DRAM，随后切换到多Bank模式，将激活向量、缩放因子和指令写入PIM寄存器；之后发出的读命令不再返回普通内存内容，而是触发各Bank并行计算，结果先进入向量寄存器，再写回DRAM。对外部内存控制器而言，使用的仍是标准激活、读写命令。
这种设计很有工程意味：它用地址和模式切换在标准协议内“藏入”计算语义，降低了硬件接口改造幅度。不过，兼容信号协议并不等于兼容整个软件生态。多Bank模式下，各Bank接收相同指令和输入，整体更像一台约束很强的SIMD处理器。适合它的任务必须具备规整的数据布局、足够高的并行度和可预测的访问顺序。分支复杂、随机访问频繁或需要高精度的计算，仍应留给CPU、GPU或NPU。
真正困难的是系统软件
PIM修改DRAM内容时，CPU缓存里可能还保留旧副本；CPU也可能有尚未写回内存的新数据。如果系统没有严格处理一致性，PIM会读到过期输入，CPU随后也可能覆盖PIM的计算结果。预取器、乱序执行和内存地址交织同样基于“内存访问没有计算副作用”的前提，PIM模式会让这些优化机制变得复杂。
任务切换也很棘手。若操作系统准备抢占正在执行PIM任务的线程，需要退出PIM模式，保存各Bank的指令、源数据、缩放参数和中间结果，恢复时再重新装载。中断发生在何处、哪些内存通道被占用、普通应用能否同时访问这些通道，都要有明确规则。最简单的办法是划出PIM专用内存区域甚至专用通道，但这会牺牲通用程序可用的带宽，并降低资源利用率。
由此看，PIM需要的不只是一个算子库。运行时必须识别哪些算子具有带宽受限特征，决定权重如何分布到Bank，在CPU、GPU和PIM之间安排数据与任务；编译器需要把高层矩阵操作变成有限长度的PIM指令序列；操作系统则要处理内存隔离、缓存刷新、上下文切换和错误恢复。只有这些环节形成稳定接口，模型框架才可能把PIM当成普通后端使用。
PIM与HBM不是简单替代关系
HBM通过3D堆叠和超宽接口为GPU提供高带宽，已经成为高端训练与推理加速器的关键部件。它的优势是通用性较强，既能承载矩阵计算，也能服务注意力、通信和各种自定义算子；代价是先进封装复杂、容量成本较高，供应链也更集中。
LPDDR5X-PIM的目标更接近成本敏感、能耗敏感和低批量推理。它在常见低功耗内存基础上加入有限计算，可能适用于边缘服务器、工作站、大内存AI PC以及部分端侧设备。对于权重常驻、输入向量反复广播的任务，内部并行带宽很有价值；对于训练、大批量推理和频繁跨卡通信，HBM与高性能GPU仍有明显优势。
更现实的系统可能同时包含多种内存：HBM负责高吞吐计算，DDR或LPDDR提供大容量，PIM承担特定的矩阵—向量运算、稀疏计算或数据预处理。调度器根据算术强度、精度要求、批量大小和数据位置选择执行位置。此时PIM不是一颗独立“AI芯片”，而是异构计算体系里的一个近数据执行层。
从演示走向产品还要回答三个问题
首先是收益能否覆盖代价。PIM逻辑占用芯片面积，也会带来发热、验证和良率压力。如果计算单元利用率很低，用户等于为大量闲置逻辑买单。厂商需要给出更多真实模型、不同批量和不同容量下的数据，而不只是峰值样例。
其次是标准化。三星利用标准LPDDR5X命令实现控制，但PIM功能本身并非现有LPDDR统一标准。若不同厂商拥有不同指令、地址映射和精度格式，框架开发者很难长期维护。JEDEC层面的接口规范、能力发现和错误处理机制，将影响PIM能否形成多供应商生态。
最后是软件透明度。理想状态下，开发者在PyTorch、ONNX Runtime或大模型推理框架中选择设备，编译器和运行时自动决定算子下沉；若每个模型都要手工排列Bank、关闭中断并管理缓存，PIM只能停留在专用设备和少数垂直场景。
三星的LPDDR5X-PIM没有终结“内存墙”，却把问题重新摆到了系统设计的中心。AI硬件竞争已经无法只比较计算单元数量。模型推理的效率取决于数据放在哪里、搬运多少次、由谁调度，以及软硬件能否共同维持一致性。PIM最有价值的地方，或许正是迫使行业承认：在数据密集型计算中，移动数据往往比计算数据更昂贵。