LLM工程师必读的12篇论文：从Transformer到DPO，附全部下载链接

LLM工程师必读的12篇论文：从Transformer到DPO，附全部下载链接

LLM工程师必读的12篇论文：从Transformer到DPO

本文由AI教育者Amit Shekhar在推特上发布的"LLM工程师必读论文清单"整理而成，精选了12篇从2017年到2023年LLM发展史上的关键论文。每篇论文都代表了LLM技术演进的一个转折点，从Transformer基础架构到DPO对齐技术，覆盖了基础架构、规模效应、对齐技术、效率优化、知识增强等核心领域。

论文清单

  1. Attention Is All You Need (2017) — 提出Transformer架构，用自注意力机制取代RNN
  2. BERT (2018) — 提出掩码语言模型和双向上下文预训练
  3. GPT-3 (2020) — 1750亿参数模型，发现上下文学习能力
  4. Scaling Laws (2020) — 发现损失与计算量、数据量、参数量的幂律关系
  5. Chinchilla (2022) — 提出计算最优训练策略，每个参数对应约20个token
  6. InstructGPT (2022) — 通过RLHF实现模型对齐，ChatGPT的技术基础
  7. Chain-of-Thought (2022) — 通过"Let’s think step by step"提升推理能力
  8. RAG (2020) — 检索增强生成，解决幻觉和知识过时问题
  9. LoRA (2021) — 低秩适应，将可训练参数量减少10000倍
  10. LLaMA (2023) — 开源大模型生态的引爆点
  11. FlashAttention (2022) — IO感知算法，加速注意力计算2-4倍
  12. DPO (2023) — 直接偏好优化，简化RLHF流程

阅读建议

文档提供了入门、进阶、完整理解三个阶段的阅读路线，建议工程师先读Abstract和Introduction，再看实验图表，最后深入方法论。

分享到