模型相等性测试(MET)

模型相等性测试(MET)

模型相等性测试(MET)

模型相等性测试(Model Equality Test, MET)是一种统计检验方法,用于判断两个模型(或API端点)的输出分布是否来自同一分布。该方法是《真金白银,假冒模型》(Real Money, Fake Models)论文提出的四阶段审计协议的重要组成部分。

原理

MET通过对目标API和官方API进行至少500次采样,比较两组输出分布的统计特征。如果原假设(两个分布相同)被拒绝,则表明目标API可能提供了与声称不一致的模型。

应用

  • 验证中转API是否提供真实的官方模型
  • 作为四阶段审计协议的第二步(在LLMmap指纹核对之后)
  • 量化模型替换行为的证据强度

局限性

  • 需要足够的采样次数以保证统计效力
  • 对输出分布高度相似的模型可能无法有效区分
  • 模型更新或版本变化可能影响测试结果
分享到