LLMmap
LLMmap是一种模型指纹识别技术,通过向目标模型发送特定设计的探针(probes)并分析其输出分布,从而唯一识别模型身份。该技术由《真金白银,假冒模型》(Real Money, Fake Models)论文提出,用于揭露中转API市场中用廉价模型冒充高价模型的行为。
工作原理
- 设计一组标准化的探针输入
- 向目标模型发送探针并收集输出
- 分析输出分布的统计特征,形成模型“指纹”
- 将指纹与官方模型的基线指纹进行比对(余弦距离)
应用
- 验证API端点是否提供声称的模型
- 检测模型替换行为
- 作为四阶段审计协议的第一步
局限性
- 需要预先获取官方模型的基线指纹
- 模型更新可能导致指纹变化
- 对某些高度相似的模型可能区分度不足