垃圾科学
“垃圾科学”(Junk Science)是指利用AI(特别是大型语言模型)快速生成虚假或低质量研究论文的现象。这是AI在科学领域应用的主要负面后果,严重威胁学术诚信。
成因
- 商业"论文工厂":利用AI快速生成虚假研究论文,向科学家出售作者署名权。
- LLM幻觉:大语言模型倾向于生成看似合理但实际错误的内容。
- 学术发表压力:科学家面临"发表或灭亡"的压力,催生了对快速生成论文的需求。
影响
- 学术诚信危机:到了2025年,《PLOS》和《Frontiers》等期刊不得不停止接受仅基于公共卫生数据集提交的论文。
- "Slop"成为年度词汇:梅里亚姆-韦伯斯特将"Slop"(泥泞/垃圾)命名为2025年的年度词汇。
- 科学出版系统承压:同行评审系统难以应对AI生成论文的洪流。
应对措施
- 期刊政策调整:限制或禁止AI生成内容的提交。
- 检测工具开发:开发识别AI生成文本的工具。
- 加强同行评审:提高评审标准,要求更严格的验证。
与现有维基的连接
- 强化:为[[大模型不是真理机器-而是论证机器]]提供风险案例,展示"论证机器"的强大能力如何被滥用。
- 扩展:与[[ai-for-science]]形成核心张力——AI既是强大的研究伙伴,也是"垃圾科学"的制造者。