幻觉问题

幻觉问题

幻觉问题

幻觉问题(Hallucination)是大语言模型面临的最严峻挑战之一。由于其本质是概率预测,LLM有时会以极其自信的语气编造不存在的事实。

影响

幻觉问题是目前金融、医疗等严谨领域应用LLM的最大障碍。在这些领域,信息的准确性和可靠性至关重要,任何编造的信息都可能导致严重后果。

缓解方案

  • [[检索增强生成]]:允许模型在回答前搜索实时互联网或企业私有知识库,确保回答有据可依
  • 提示词工程:通过精心设计的Prompt引导模型避免编造
  • 模型校准:通过技术手段让模型更好地评估自身不确定性

与[[智能体]]的关系

当LLM作为智能体自主执行任务时,幻觉问题可能导致更严重的连锁错误,因此是智能体应用中的关键风险点。

分享到