跳到正文
量子位· 闻乐·· 3 小时前AI 评分62

字节 Seed 找到 DeepSeek-V4 时强时弱的原因:分块 KV Cache 压缩的相位敏感性

字节找到了DeepSeek时强时弱的原因

AI 导读

字节 Seed 团队发现 DeepSeek-V4 系列的表现会随信息在输入中的位置每隔 4 个 Token 周期性变化,在 128K 长上下文大海捞针测试中,同一信息换位置后准确率最高相差 40.2 个百分点。

来源:量子位 · qbitai.com