确定性计算
确定性计算(Deterministic Computing)是一种计算架构设计哲学,其中编译器(而非硬件)静态调度每一周期的数据流和计算,实现零缓存缺失、零运行时调度开销。Groq的LPU是这一理念的典型代表。
核心原则
- 编译器主导:所有操作在编译时静态规划,运行时无动态决策。
- 消除不确定性:无缓存缺失、无分支预测错误、无乱序执行开销。
- 可预测性:每个操作的执行时间完全确定,延迟可精确计算。
与GPU的对比
传统GPU采用硬件运行时调度线程,虽然并行性高,但调度开销大,且存在缓存缺失等不确定性。LPU把"不确定性"全部交给编译器,实现了极致确定性和低延迟。
优势与局限
- 优势:极低延迟、高能效、可预测性强,特别适合LLM推理这种高度顺序、token-by-token的过程。
- 局限:灵活性低,单芯片容量小,必须大规模集群才能跑超大模型。
与维基的连接
确定性计算是[[ai-hardware-architecture]]中LPU部分的核心设计哲学,也是[[memory-wall]]的一种激进解决方案。