Mercury 模型
Mercury是GitHub团队发布的一种扩散驱动的语言模型,采用非自回归(Non-autoregressive)的扩散式文本生成框架。它在代码生成任务中实现了超高速推理,代表了语言模型生成范式的重要突破。
技术特点
- 非自回归生成:不依赖逐个预测Token,而是并行生成
- 超高速推理:在代码生成任务中实现1109 tokens/sec
- 高性能:在HumanEval评测中追平了Claude 3.5
战略意义
Mercury展示了扩散模型在语言生成领域的巨大潜力,可能改变未来语言模型的基础架构设计范式。