标签: 推理压测

0

AIPerf与生产级推理压测：企业如何做容量规划

大模型推理压测不能停留在单请求吞吐。企业需要用真实到达模式、输入输出长度、P95与P99延迟、GPU遥测和故障场景，建立可复现的容量模型，并据此决定集群规模、扩容阈值和成本边界。