BERT

BERT（Bidirectional Encoder Representations from Transformers）是由Google开发的预训练语言模型，于2018年发布。

关键特征

• 预训练语言模型（PLM）时代的代表
• 与GPT-1/2共同开启了"先阅读、后微调"的范式
• 参数量通常在几亿规模

历史意义

BERT代表了LLM演进中的第三阶段——预训练语言模型时代。它证明了通过在海量无标签文本上进行"盲读"，模型可以掌握丰富的语言特征。然而，BERT主要还是作为特定任务（如分类、摘要）的辅助工具，与后续的[[GPT-3]]和[[ChatGPT]]不同。