可解释性AI
定义
可解释性AI（Explainable AI, XAI）是使AI模型的决策过程和结果能够被人类理解和信任的技术。在工业场景中，AI的"处方"必须可解释，否则人类操作员无法信任，也无法承担决策责任。
在工业场景中的重要性
- 信任建立：操作员需要理解AI为何给出特定建议，才能信任并执行
- 责任界定：当AI处方错误时，需要追溯决策过程以界定责任
- 合规要求：类似欧盟的AI法规要求高风险工业AI透明
- 持续改进：可解释性帮助工程师诊断模型缺陷并改进
与处方式AI的关系
可解释性是[[处方式AI]]落地的核心挑战之一。处方式AI的"处方"不能仅仅是"有说服力的论证"，它必须是基于物理规律和精确数据的"真理"。
相关概念
- [[处方式AI]]
- [[人类-AI协作]]
- [[大模型不是真理机器-而是论证机器]]
- [[责任护城河]]