0
同一个27B模型，为什么在你电脑上像7B：量化、KV Cache和推理引擎正在偷偷改掉模型
同一个大模型在本地部署后为何表现明显变化？量化格式、KV Cache精度、Attention Backend、底层Kernel与推理框架共同决定模型的实际运行效果。
标签: SGLang
0
从Kimi K3到MiniMax-H3：国产大模型竞争进入“推理系统战”
SGLang v0.5.17为Kimi K3与MiniMax-H3提供day-0部署支持，推理框架、内核、缓存、并行策略和硬件适配正在成为模型商业化的主战场。