摘要：PrismML发布Bonsai 27B，把27B多模态模型压缩到3.9GB至5.9GB级别，使高端手机、普通笔记本和小型边缘设备开始具备承载中型本地AI模型的现实可能。
2026年7月14日，PrismML发布Bonsai 27B模型。
这是一款基于Qwen3.6 27B改造的多模态模型，能够处理文本、图片、屏幕截图和文档，也支持推理、工具调用与较长流程的任务执行。
引起关注的是它的体积。
常规FP16格式的27B模型大约需要54GB存储空间，4比特量化版本也要17.6GB。Bonsai 27B提供两个低比特版本：三值版本约5.9GB，1比特版本约3.9GB。后者已经能够进入高端手机可分配给单个应用的内存范围。
27B参数模型由此进入手机、普通笔记本和小型边缘设备能够讨论的范围。
一、27B模型为什么通常装不进手机
模型参数需要以数字形式保存在内存中。
FP16使用16个二进制位保存一个参数。一个拥有270亿个参数的模型，仅模型权重的理论占用就超过50GB，还没有计算运行时所需的上下文缓存、中间结果、图像编码器和程序本身。
常见的4比特量化可以大幅缩小模型，但实际文件并不会严格等于“参数量乘以4比特”。模型还需要保存缩放系数、分组信息、元数据和部分高精度结构。因此，Qwen3.6 27B的常规4比特版本仍有17.6GB左右。
这个容量对配备24GB显存的桌面显卡不算困难，对普通笔记本已经比较吃力，对手机则几乎没有可行性。
手机标称拥有12GB内存，并不代表一个应用可以使用全部12GB。操作系统、图形界面和后台程序都要占用内存，模型运行时还要为KV Cache和中间激活值留出空间。PrismML给出的估算是，12GB内存的iPhone可供模型使用的空间约为6GB。
3.9GB的模型权重因此具有了实际意义。
不过，“模型文件能放进去”和“模型可以流畅完成复杂任务”是两个问题。上下文长度、生成速度、设备发热、电池消耗以及系统能够分配的连续内存，都会影响手机端的使用效果。
二、1比特模型究竟压缩了什么
普通模型中的一个权重，可以是带有很多小数位的正数或负数。
三值Bonsai将大量权重限制在三个取值：
- -1；
- 0；
- +1。
1比特Bonsai则进一步把权重限制为：
- -1；
- +1。
为了避免所有参数只能机械地取两个数，模型还会按照参数分组保存缩放系数。计算时，二值或三值权重与相应的缩放系数组合，恢复不同参数组之间的数值差异。
PrismML公布的数据中，三值版本的有效权重精度为1.71比特，1比特版本为1.125比特。模型的词嵌入、注意力层、MLP层和输出层均采用低比特表示，没有在主要语言网络中保留大块FP16权重。视觉编码部分采用4比特格式。
这种做法和普通的模型文件压缩不同。
ZIP压缩只能减少下载和存储体积，运行前仍要解压。低比特权重可以直接参与推理，配合专门的计算内核，减少每次生成Token时需要从内存读取的数据量。
大模型本地推理常常受到内存带宽限制。模型每生成一个Token，都要读取大量权重。权重越小，同样的内存带宽就能支持更高的生成速度。
这也是1比特模型除了节省容量之外的另一项价值。
三、模型能力损失有多大
压缩到1比特不可能完全没有代价。
PrismML公布了15项测试，覆盖数学、代码、知识、指令遵循、工具调用和视觉理解。完整精度版本的平均得分为85.07，三值版本为80.49，1比特版本为76.11。
按照这组测试计算，三值版本保留了约94.6%的平均能力，1比特版本保留了约89.5%。
具体项目的差异比平均分更值得关注。
在数学测试中，完整精度版本的综合得分为95.3，三值版本为93.4，1比特版本为91.7。代码能力分别为88.7、86.0和81.9，下降相对有限。
工具调用、复杂指令和视觉任务的损失更加明显。
工具调用与Agent测试的综合得分从80.0下降到74.0和66.0；视觉能力从72.6下降到65.2和59.6；指令遵循从78.4下降到71.8和65.8。
这些数据说明，低比特模型适合承担规则明确、结果可校验、允许多次尝试的任务。涉及复杂界面操作、长流程自主执行或高要求图像理解时，1比特版本与完整精度模型仍有明显差距。
还要注意，目前主要测试数据由模型发布方提供。不同语言、不同提示词、长上下文稳定性以及实际工具调用成功率，仍需要更多独立测试。
四、手机运行27B模型，不等于手机可以替代云端大模型
Bonsai 27B支持约26.2万Token上下文，也支持图片输入和工具调用。官方展示的运行平台包括苹果芯片设备、Windows、Linux、CUDA显卡、Vulkan和CPU环境。1比特格式已经合入llama.cpp主线，三值格式已支持主线CPU和Metal，Vulkan支持仍在完善。
这些能力给出了较完整的本地部署路径，但手机端仍有几个限制。
1. 上下文会继续消耗内存
模型权重只有3.9GB，并不代表整个程序只需要3.9GB。
对话越长，KV Cache占用越大。Bonsai采用4比特KV Cache降低内存消耗，但在手机上使用数十万Token上下文仍会受到内存、速度和温度约束。实际产品很可能需要限制上下文长度，或者结合检索系统分段读取资料。
2. 速度取决于内存带宽
官方公布的高端设备测试中，RTX 5090运行1比特版本最高可达到每秒163个Token，三值版本最高约134个Token；M5 Max分别可达到每秒87个和58个Token。
这类数据不能直接套用到手机。
手机芯片的持续功耗、散热条件和内存带宽均低于高端桌面显卡与高配电脑。短时间演示可以运行，不代表持续处理长文档或循环调用工具时仍能保持相同速度。
3. 能力上限仍低于大型云端模型
27B参数属于中型模型。它可以完成文档整理、信息提取、简单代码编写和受控工具调用，但在复杂推理、高难度编程、多轮规划与专业知识覆盖方面，仍会受到模型规模和低比特压缩的双重限制。
比较合理的架构是让本地模型处理隐私敏感、频繁调用和规则清晰的任务，将少量高难度请求交给云端模型。
五、本地27B对工业场景有什么用
工业现场并不缺少能够回答常识问题的聊天机器人。很多项目卡在另外几个条件上：
- 数据不能离开厂区；
- 网络连接不稳定；
- 云端调用费用难以预测；
- 设备需要连续运行；
- 响应时间不能完全依赖公网；
- 模型需要接触图纸、工艺文件、设备日志和现场图片。
5.9GB或3.9GB的27B模型，可以部署在工业电脑、边缘服务器、工程师工作站甚至部分高性能移动终端上。
它可能适合以下几类工作。
1. 设备维修助手
模型可以在本地读取设备手册、维修记录、故障代码和备件目录。
工程师拍摄设备铭牌或报警界面后，模型识别图片内容，再从本地知识库中查询对应处理步骤。整个过程不必把设备照片、生产参数和维修记录上传到外部服务器。
2. 工艺文件与质量记录查询
工厂内部积累了大量PDF、表格、作业指导书和质量报告。
本地模型可以负责文件分类、内容提取、相似案例搜索、检查项生成和报告初稿。对于大量重复查询，本地推理能够减少持续发生的Token费用。
3. 离线巡检终端
矿山、油气田、能源站点和大型厂区存在网络覆盖不足的区域。
巡检人员可以在移动终端中保存设备资料和检查规则，由模型辅助识别仪表、整理语音记录、生成巡检摘要。设备恢复网络后，再将结构化结果同步到企业系统。
4. 工业软件操作助手
模型可以通过API、CLI或MCP接口调用工业软件，完成参数填写、文件转换、批处理和结果整理。
这类应用必须设置权限范围、工具白名单和人工确认节点。模型能力越有限，越不能把不可逆操作直接交给它。涉及设备启停、控制参数修改和生产指令下发时，还需要经过确定性程序、规则引擎或工程师审批。
5. 多模型协作
小型边缘设备可以同时加载多个经过专门训练的低比特模型。
一个模型处理文字，一个模型识别图片，一个模型负责设备异常分类，再由业务程序完成任务编排。这样的系统比单个超大模型更容易控制资源，也便于按照具体岗位更新。
六、企业部署需要关注哪些问题
模型体积缩小，只解决了本地部署中的一个问题。
企业选型时还要测试以下内容：
第一，中文和行业术语能力。公开基准得分高，不代表能够准确理解企业内部缩写、设备编号和工艺表达。
第二，结构化输出稳定性。工业系统经常要求模型返回固定JSON、表格字段或函数参数。格式错误会导致后续程序无法执行。
第三，长时间运行的可靠性。一次演示成功与连续运行数百次之间存在差距。模型需要接受并发、内存泄漏、异常输入和超长文档测试。
第四，工具调用成功率。Bonsai 1比特版本在工具调用测试中的损失高于数学和代码能力，企业不能只看模型能否调用工具，还要检查参数是否正确、失败后是否会重复执行以及能否识别操作结果。
第五，硬件适配。低比特模型依赖专门的计算内核。不同CPU、GPU、手机芯片和推理框架的速度差异可能很大，采购硬件前需要在目标设备上完成验证。
第六，安全边界。本地运行可以减少数据外传，却无法自动解决权限失控、恶意文件、提示词注入和错误操作。模型访问文件、数据库、工业软件和生产系统时，仍要采用最小权限和操作审计。
七、1比特模型带来的变化
过去讨论本地大模型，硬件选择通常集中在高显存显卡、统一内存工作站或小型服务器。
1比特和三值模型把27B参数压缩到4GB至6GB后，硬件范围扩大了。普通笔记本、移动工作站、边缘盒子和高端手机，都可能承载具备一定推理与工具调用能力的模型。
这不会消除云端模型，也不会让手机获得数据中心级别的计算能力。
它提供了一种更细的任务分配方式：
隐私数据留在本地，频繁任务由本地模型处理，复杂任务按需调用云端，确定性程序负责关键控制，人工承担最终确认。
对工业企业而言，这比单纯追求更大的模型更容易形成可交付系统。
Bonsai 27B目前还需要独立测试验证，尤其是中文能力、长流程工具调用、手机持续运行和低比特计算内核的兼容性。但27B模型压缩到3.9GB这件事，已经把本地部署的硬件门槛向下推了一大截。
接下来的竞争，除了参数规模和测试分数，还会包括每GB能够承载多少能力、每瓦功耗能够完成多少任务，以及模型能否在企业设备上稳定运行。