量化

量化（Quantization）是指通过降低模型权重的精度（如从BF16到Q4_0）来减少内存占用和加速推理的技术。Gemma 4官方提供BF16、SFP8、Q4_0等多种格式，使得大模型能在本地硬件上运行。例如，31B模型Q4_0量化后仅需约17.4GB显存，E2B模型Q4_0量化后仅需3.2GB内存。量化是使Gemma 4覆盖从树莓派到工作站全场景的关键技术，社区已用Unsloth等工具快速量化并部署GGUF版本。