材料检测模型得到一个很高的准确率，通常会被解读为算法识别能力增强。但如果某些类别在数据集中占了绝大多数，或者相似样本同时出现在训练与测试中，这个分数也可能只是模型熟悉了数据的分布习惯。工业质量检测要问的是，这个分数能否支持具体的检验决策。
InformedXRD 把研究重点放在粉末 X 射线衍射的评测基础设施上。仓库提供空间群到消光群的映射、冻结快照的基准构建、先验基线、置换检验和分层评价工具，并列出了论文结论对应的代码与数据位置。[1] 这让模型比较不再只盯着排行榜分数，还要检查测量信息、标签定义和数据来源。
先确定传感器能够支持什么标签
在衍射分析中，晶体对称性、结构因子、实验条件和仪器响应共同影响测量图谱。InformedXRD 的映射包含 230 个空间群和 99 个消光群，后者对应仅依据系统消光能够区分的类别。[1] 这句话有一个明确的物理范围：讨论的是系统消光信息，不应扩大为“完整衍射图谱永远只能提供这些类别”。
这种标签审查思路可以迁移到工业视觉。假设两个缺陷在当前相机分辨率和照明下几乎无法区分，却被业务系统强行划为不同类别，训练就会被迫寻找背景纹理、批次标记或拍摄位置等旁路特征。模型最终可能在测试集上表现很好，换一个夹具或者换一批材料便失效。
解决方法首先是审查标签与观测的关系。能够通过当前传感器区分的类别可以直接训练；需要厚度、成分或内部结构信息才能判断的类别，应引入其他检测手段，或把模型输出调整为候选集合。标签粒度越细，越应说明额外信息从哪里来。
为什么先验基线很重要
对一个类别极不均衡的数据集，始终预测最常见类别就可能得到不错的 Top-1。更复杂的模型即使只略微利用输入，也能在这个基础上形成好看的成绩。因此，在训练深度模型前，至少应该建立频率预测、简单统计特征和轻量模型三类基线。频率基线使用的类别分布必须来自允许使用的训练信息；利用测试标签构造的参照，只能作为分析工具，不能混入可部署结果。
宏平均召回率可以衡量每个类别获得的平均识别能力：
[
R_{macro}=\frac{1}{C}\sum_{c=1}^{C}\frac{TP_c}{TP_c+FN_c}.
]
它与总体准确率回答不同问题。工业上线时还应把误报、漏报与复检成本分开讨论。少量高风险缺陷被漏掉，可能比大量普通表面瑕疵的误报更重要。因此，一个统一分数只能作为索引，无法替代按缺陷类型和工况展开的报告。
置换检验要保留正确的实验单位
置换检验的基本思想，是构造“信号与标签没有目标关联”的参照分布，再判断观察到的表现是否明显超过这个参照。具体置换什么、是否重新训练、统计量如何定义，必须按照实验问题确定；InformedXRD 提供了自己的 rank-lift 检验实现，不能用随意打乱标签替代其完整方法。[1]
迁移到工业数据时，最大的陷阱是把相关样本当成独立样本。同一工件的十张图片、同一炉次的多条检测记录、同一设备连续采样的信号，通常具有相关性。按单张图片随机切分，可能使测试集只是在重复训练集已经见过的制造条件。更合理的分组单位通常是工件、炉次、设备、日期或工厂。
置信区间也应使用相应的分组重采样。否则，样本数量看起来很多，独立信息却很少，误差范围会被估计得过于乐观。冻结数据快照、固定切分清单、保存预处理参数和模型版本，是让后续结果可比较的基础。
分层错误可以帮助定位问题，但不能直接代表质量风险
两个错误类别在物理分类层级上距离很近，可能说明模型捕捉到了部分结构。InformedXRD 的层级指标为这种分析提供了工具。[1] 然而，分类图上的距离与企业的损失函数并无天然对应关系。外观近似的两类缺陷，可能分别对应返工与报废；层级相邻，后果却差别很大。
对工厂而言，可以同时保存两个视角：技术层面记录分类层级、混淆关系和概率校准；业务层面维护缺陷严重度、处置规则和复检要求。两者通过明确的映射连接，避免把模型内部的“相似”直接解释为生产上的“可接受”。
InformedXRD 值得借鉴的是它的评测纪律。工业模型上线前，先证明它使用了有效信号，再证明它在目标分布上可靠，最后证明它能改善具体决策。这个顺序会减少许多看似成功、实际无法交付的试点。
参考资料
[1] InformedXRD 官方仓库及评测文件导航：https://github.com/scattering/InformedXRD
[2] 项目所列论文入口：https://arxiv.org/abs/2611.01525 （本次未成功读取该页面，论文与会议信息依据项目仓库说明。）
[3] 官方基准数据入口：https://huggingface.co/datasets/informedxrd/informedxrd-benchmarks