0
AI 芯片越来越贵,真正的瓶颈不是算力,而是内存
过去我们谈 AI 芯片,最习惯盯着算力、制程和 GPU 数量,但最新数据说明,AI 芯片里真正吞掉成本大头的,已经不是逻辑计算单元,而是高带宽内存 HBM。随着模型变大、上下文变长、并发推理增加,AI 基础设施的竞争逻辑正在从“谁有更多算力”转向“谁能更便宜、更高效地拿到并利用内存”。
过去我们谈 AI 芯片,最习惯盯着算力、制程和 GPU 数量,但最新数据说明,AI 芯片里真正吞掉成本大头的,已经不是逻辑计算单元,而是高带宽内存 HBM。随着模型变大、上下文变长、并发推理增加,AI 基础设施的竞争逻辑正在从“谁有更多算力”转向“谁能更便宜、更高效地拿到并利用内存”。
在2026年3月的这个节点,福布斯与各大金融媒体披露的Meta与NVIDIA"深度捆绑"消息,标志着生成式AI正式从"大模型竞赛"进入了"算力平权与架构跃迁"的第二阶段。当单Token推理成本实现35倍的断崖式下跌,AI行业的底层逻辑、商业模式乃至软件架构,都将发生如同从"拨号上网"到"百兆光纤"般的范式转移。
当前的AI技术发展呈现出明显的"两极化"趋势:一方面是底层推理成本的剧烈坍塌,使得万亿规模的Token应用成为可能;另一方面是高层伦理红线的模糊化,OpenAI与军事力量的深度耦合可能引发新一轮的技术人员外流和安全共识的分裂。