
刚刚,DeepSeek 突然宣布 DeepSeek-V3.2-Exp 正式发布,这是其模型的实验版本。现已在 App、Web 和 API 上线, API 价格降低了 50%+。
模型: https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
技术报告: https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf

作为迈向下一代架构的过渡,V3.2-Exp 在 V3.1-Terminus 的基础上引入了 DeepSeek 稀疏注意力机制(DSA)——一种稀疏注意力机制,旨在探索和验证在长上下文场景下训练和推理效率的优化。此外,SGLang 是 DeepSeek-V3.2 的官方推理框架,具有优化的稀疏注意力内核、动态 KV 缓存,并能无缝扩展到 128K 个 token。

据介绍,该实验版本代表了 DeepSeek 团队对更高效的变压器架构的持续研究,特别注重提高处理扩展文本序列时的计算效率。

DSA 实现了以最小的输出质量影响实现细粒度稀疏注意力,提升长上下文性能并降低计算成本。
为了严格评估引入稀疏注意力的影响,DeepSeek-V3.2-Exp 的训练配置与 V3.1-Terminus 保持一致。在各个领域的公共基准测试中,DeepSeek-V3.2-Exp 表现出与 V3.1-Terminus 相当的性能。

其实早在模型发布之前,就有网友猜测,DeepSeek 或者谷歌可能会在十一国庆节期间有新动作,并猜测 DeepSeek 可能会放出 V4,这次不用网友们猜了,他们在节前放出了新模型让大家踏实过节去吧!
评论