0
按下回车之后：一条大模型请求如何穿过上下文、显存与推理引擎
聊天窗口给人的感觉很简单：输入一句话，稍作等待，答案便逐字出现。服务器内部处理的对象却远不止这句话。系统提示词、工具定义、历史对话、长期记忆、检索资料和本轮输入会先被拼成一份临时文档，经过安全检查和分词后进入共享推理集群。模型随后依次完成预填充与解码，推理引擎还要处理连续批调度、KV Cache 分配、前缀缓存与流式输出。理解这条链路，有助于解释几个常见现象：同一个模型为什么在不同产品中表现不同，长对话为什么越来越慢，工具调用为什么明显增加延迟，以及企业部署大模型时为什么不能只关注模型参数量。