摘要：一次围绕 M5、DGX Spark、Strix Halo 与 RTX 6000 的社区基准对比，真正有价值的并不是谁跑得最快，而是“模型是否装得下”与“溢出之后掉得有多惨”。本文从内存带宽、统一内存、显存溢出惩罚与散热持续性四个维度，解释这组结果背后的工程逻辑。
过去几年，大家谈 AI 推理硬件，最容易陷入一种“跑分崇拜”：谁的 token/s 更高，谁就赢了。但最近一组围绕 Apple M5、NVIDIA DGX Spark、AMD Strix Halo 与 RTX 6000 的连续三天社区基准测试，再次把问题拉回到更真实的工程场景里：硬件选型不只是看峰值吞吐，还要看模型是否适配本地显存、溢出之后性能如何坍塌，以及机器能不能长时间稳定跑。
这组讨论之所以值得写，不是因为它给出了某个“绝对王者”，而是它把本地推理里最常被忽视的事实说透了：对大模型来说，内存带宽决定上限，显存边界决定成败，热设计决定你能不能一直跑下去。
从社区汇总的数据看，RTX 6000 这一类高端独立 GPU 在模型完全适配显存时，依然是最强解。它的带宽口径大约在 1800 GB/s 量级，远高于 Apple M5 的约 600 GB/s，也明显高于 DGX Spark 与 Strix Halo 这类约 256 GB/s 的平台。按经验来说，在推理主瓶颈落在权重搬运和 KV cache 读写时，token 生成速度和带宽大致正相关，所以只要模型“装得下”，RTX 6000 跑得比其他平台快，几乎没有悬念。
真正有意思的是第二层：当模型开始逼近显存边界时，排序就不再只取决于峰值带宽。 这正是 M5 这类统一内存机器的价值所在。Apple 的统一内存架构并不是说它 magically 更快，而是它没有传统“显存装不下就回退到系统内存”的断崖式惩罚。对很多本地推理场景来说，这意味着一个模型在 M5 上即便变慢，也往往是“平滑变慢”；而在独立 GPU 上，模型一旦超出 VRAM，性能可能直接从“非常快”掉到“几乎不可用”。
这也是为什么高赞评论会得出一个并不矛盾的结论：小模型看 RTX 6000，大模型看 M5。 很多人一开始会觉得这像一句模棱两可的废话，但从系统架构角度看，它其实非常精确。RTX 6000 代表的是“高带宽、独立显存、适配时极强”；M5 代表的是“中高带宽、统一内存、溢出时更稳”。如果你的日常工作负载主要集中在 7B、14B、甚至部分 32B 的量化模型，并且强调低延迟、单用户、交互式体验，那么 RTX 6000 这类卡的价值很明确。但如果你开始尝试更大参数量、更长上下文、或者需要在一台机器上容纳多个权重版本做实验，那么统一内存平台的优势会越来越明显。
DGX Spark 和 Strix Halo 则落在一个更尴尬、也更有研究价值的位置。两者都不是“纯粹的低端方案”，但从讨论来看，它们在这次对比中都受到了 256 GB/s 级别带宽 的硬约束。这个级别在轻量模型、边缘部署或紧凑型 AI 工作站中并非不可用，但如果拿来和 RTX 6000 的带宽级别直接对撞，就很难在纯推理速度上占优。因此，DGX Spark 的意义更偏向NVIDIA 紧凑开发平台与生态入口，而不是桌面端单卡带宽冠军；Strix Halo 的价值则更偏向高集成度、单机功耗与便携部署，而不是极限吞吐。
再往深一层看，这组对比真正提醒开发者的，是不要把“显卡性能”误写成“推理性能”。本地 LLM 推理并不是传统图形工作负载。图形渲染更依赖算力、光栅化、shader 和并行单元；而自回归大模型推理，尤其在 batch 不大、并发不高的个人使用场景下，常常会更快地撞上内存子系统。所以在这种任务里，买更高 FLOPS 并不自动等于更高 token/s，反而是“你有没有足够宽的内存带宽”“模型和 KV cache 能不能稳定放在一个高速池里”，决定了你的真实体验。
社区讨论里另一个值得注意的点，是价格与可升级性。例如有人拿 M5 Max 128GB 约 5500 美元 与 DGX Spark 约 3800 美元 做比较，也有人质疑 Apple 的封闭生态和不可升级路线。从工程投资角度，这种讨论很有意义。因为统一内存方案的优势，某种程度上是靠“一次性买大”换来的；独立 GPU 方案的优势，则是你还保留了以后继续扩展、替换、增加卡的弹性。换句话说，M5 的稳定不是免费的，RTX 6000 的速度也不是免费的，DGX Spark 与 Strix Halo 的集成度同样不是免费的。你买的不是一张参数表，而是一整套未来约束。
长时间运行时的热设计也不能忽略。讨论里提到，M5 MacBook Pro 在持续推理中温度大约保持在 80°C 左右，但噪音已经接近游戏本水准；而搭载 Strix Halo 的 EVO X2 甚至被指出存在更明显的散热问题。这个细节非常关键，因为本地 AI 不只是“跑一次 benchmark”，而是要长时间加载模型、预填充长上下文、反复切换任务、甚至连续运行 agent。只要热设计跟不上，前 5 分钟的漂亮跑分，很快就会被热降频和噪音惩罚吃掉。
如果把这组结果压缩成一句适合选型会上的结论，我会这么说：RTX 6000 适合追求模型适配范围内的极限性能，M5 适合追求大模型阶段不崩的稳定性，DGX Spark 适合押注 NVIDIA 本地开发生态，Strix Halo 适合在高集成和小体积里做折中。 这里没有一个对所有人都成立的“最优平台”，只有不同负载假设下的最优解。
对开发者来说，最重要的不是记住哪台机器在某个 Reddit 贴子里赢了，而是先问自己三个问题。第一，你的主力模型到底有多大，是否经常逼近显存边界？第二，你更在意单轮交互速度，还是大模型能不能稳定装下？第三，你买的是一台“今天最快”的设备，还是一套“未来两年仍然可用”的工作流？当这三个问题想清楚，M5、DGX Spark、Strix Halo 与 RTX 6000 之间的选择，其实就不再神秘了。
最终，这次对比最有价值的地方，不是帮我们选出了一个冠军，而是提醒大家：AI 推理硬件的真正分水岭，往往发生在显存边界附近。 在那条线以内，带宽越高越接近王者；在那条线以外，统一内存和热设计的系统级韧性，往往比峰值跑分更重要。对任何准备做本地大模型部署的人来说，这比一切排行榜都更值得记住。
参考链接
- Reddit / r/LocalLLaMA 社区讨论：M5、DGX Spark、Strix Halo 与 RTX 6000 AI 推理基准对比帖，2026-05-17。
- NVIDIA, Personal AI Supercomputer Powered by Blackwell | NVIDIA DGX Spark.
- GMKtec, EVO-X2 AI Mini PC AMD Ryzen AI Max+ 395.
- 社区文章：NVIDIA DGX Spark: great hardware, early days for the ecosystem.