DSA(稀疏注意力)

DSA(稀疏注意力)

DSA(稀疏注意力)

DSA(Sparse Attention)是DeepSeek自研的稀疏注意力技术,是实现百万token上下文标配化的核心技术之一。

技术原理

DSA的核心思路是在token层面做压缩,通过稀疏化注意力计算,大幅降低百万级上下文所需的计算量和显存占用。

行业意义

DSA技术使得长上下文能力从"能做但很贵"变为"标配且不加价",为Agent工作流、代码审查、文档分析等场景提供了基础设施级别的支持。

分享到