幻觉问题
幻觉问题(Hallucination)是大语言模型面临的最严峻挑战之一。由于其本质是概率预测,LLM有时会以极其自信的语气编造不存在的事实。
影响
幻觉问题是目前金融、医疗等严谨领域应用LLM的最大障碍。在这些领域,信息的准确性和可靠性至关重要,任何编造的信息都可能导致严重后果。
缓解方案
- [[检索增强生成]]:允许模型在回答前搜索实时互联网或企业私有知识库,确保回答有据可依
- 提示词工程:通过精心设计的Prompt引导模型避免编造
- 模型校准:通过技术手段让模型更好地评估自身不确定性
与[[智能体]]的关系
当LLM作为智能体自主执行任务时,幻觉问题可能导致更严重的连锁错误,因此是智能体应用中的关键风险点。