标签: 推理部署

0

一张3090,够不够撑起你的本地大模型?

在本地大模型玩家圈里,RTX 3090 仍然是一张极有代表性的“临界点显卡”。24GB 显存、成熟的软件生态和相对可承受的成本,让它成为很多人判断本地模型是否真正可用的一把尺子。问题是,一张3090到底能干什么,边界又在哪?