Matryoshka Representation Learning (MRL)

Matryoshka Representation Learning（俄罗斯套娃表征学习）是一种允许模型在一个大向量中嵌套小向量的技术，实现弹性部署，平衡检索速度与精度。

工作原理

• 模型生成一个高维向量（如3072维），其中低维子向量（如768维）是高维向量的有效近似。
• 初步筛选时，只提取前768维，牺牲极小精度换取4倍的检索速度。
• 进入重排（Rerank）阶段时，再调用全量的3072维进行精准匹配。

工业价值

• 存储成本优化：在处理数以亿计的工业传感器数据或文档时，大幅降低存储需求。
• 检索延迟降低：弹性维度选择允许在不同阶段使用不同精度，优化整体检索效率。
• 无需重新训练：传统方法降维需要重新训练模型或牺牲大量精度，MRL避免了这一问题。

应用场景

• 大规模工业文档检索
• 多模态数据索引
• 实时检索与重排结合的系统