0
AI 芯片越来越贵，真正的瓶颈不是算力，而是内存
过去我们谈 AI 芯片，最习惯盯着算力、制程和 GPU 数量，但最新数据说明，AI 芯片里真正吞掉成本大头的，已经不是逻辑计算单元，而是高带宽内存 HBM。随着模型变大、上下文变长、并发推理增加，AI 基础设施的竞争逻辑正在从“谁有更多算力”转向“谁能更便宜、更高效地拿到并利用内存”。
过去我们谈 AI 芯片，最习惯盯着算力、制程和 GPU 数量，但最新数据说明，AI 芯片里真正吞掉成本大头的，已经不是逻辑计算单元，而是高带宽内存 HBM。随着模型变大、上下文变长、并发推理增加，AI 基础设施的竞争逻辑正在从“谁有更多算力”转向“谁能更便宜、更高效地拿到并利用内存”。