0
125M Transformer跑在手机上：端侧MIDI生成模型的实时推理设计
125M参数Transformer可在iPhone上离线续奏MIDI。本文区分项目事实与工程推演，分析音符级Token、Core ML量化、KV Cache、冷启动、P99延迟和端侧音乐生成的质量边界。
标签: 端侧AI
0
26B模型只占约2GB内存：端侧AI开始把SSD当成模型仓库
开源项目 TurboFieldfare 通过把混合专家模型的大部分权重存放在 SSD 中，仅在需要时加载对应专家，让 Gemma 4 26B-A4B 在约 2GB 内存占用下运行。这展示了端侧模型部署的一条新路线。