LLM必读论文清单
LLM必读论文清单是由AI教育者Amit Shekhar推荐的12篇关键论文,系统性地覆盖了从Transformer基础架构到DPO对齐技术的LLM核心技术脉络。这12篇论文代表了LLM发展史上的关键转折点,理解它们是成为合格LLM工程师的基础。
技术演进脉络
- 基础架构:Transformer(2017)→ BERT(2018)
- 规模效应:GPT-3(2020)→ Scaling Laws(2020)→ Chinchilla(2022)
- 对齐技术:InstructGPT(2022)→ DPO(2023)
- 效率优化:LoRA(2021)→ FlashAttention(2022)
- 实用化:RAG(2020)→ Chain-of-Thought(2022)→ LLaMA(2023)
阅读建议
- 入门路线:Transformer → GPT-3 → InstructGPT → RAG
- 进阶路线:LoRA → Chain-of-Thought → Chinchilla → FlashAttention
- 完整理解:BERT → Scaling Laws → LLaMA → DPO
注意事项
该清单截止于2023年(DPO),对于2026年的读者而言是"历史基础"而非"前沿动态"。建议在此基础上探索2024-2026年间的新技术。