最大似然估计(MLE)
定义
最大似然估计(Maximum Likelihood Estimation, MLE)是大语言模型的核心训练目标。模型在万亿级token上学习:在什么样的上下文里,什么样的续写最可能出现。这使得模型追求"可信度"而非"真实性"。
与论证机器的关系
MLE解释了[[大模型作为论证机器|大模型为何是论证机器而非真理机器]]。模型的优化目标是让下一句话"听起来最合理、最自然",而非"与客观事实对应"。这使模型成为史上最强大的"修辞引擎"——它没有"真假"概念,只有"统计说服力"。
影响
- 模型擅长生成连贯、有说服力的文本
- 模型不擅长判断输出是否与外部现实一致
- 模型可能自信地输出幻觉(不存在的论文、错误事实)
- 用户需要建立外部验证机制