首页 新闻动态 字节找到了DeepSeek时强时弱的原因
▥ 文章标题沉浸布局

字节找到了DeepSeek时强时弱的原因

2026-11-18 新闻动态 热门阅读内容
字节找到了DeepSeek时强时弱的原因

jx吉祥整理如下:

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI DeepSeek的神鬼二象性被字节Seed团队逮到了。

同一道题,什么都没改,只在前面多塞几个无关紧要的字符,模型突然就不会了?

?

?

而且还不是偶尔抽风。

Seed研究人员发现,DeepSeek-V4的表现竟然会随着信息的输入位置, 每隔4个Token周期性变化 啥意思?

模型记不记得住一件事,居然还要看这件事在输入里站哪儿?

?

前面多两个Token,答案可能从错变对,再多两个,又给你改回去。

好好好,模型答题也开始讲究站位了。

about image

在128K长上下文检索测试中,研究人员发现,同一条信息只是换了个位置,DeepSeek-V4系列模型的检索准确率 最高就能拉开40.

2个百分点 团队进一步发现,这个问题与DeepSeek-V4采用的一项长上下文优化技术有关—— 分 KV Cache压缩 这项技术本来是为了让模型处理长文本更省内存、更高效。

结果压缩之后,倒让模型时神时鬼了(doge)。

多两个Token,DeepSeek突然就答对了 字节Seed研究人员最开始是拿DeepSeek自己的代码做了个实验。

测试对象是 DeepSeek-V4-Flash-Base 他们从DeepSeek-V4的官方推理代码中截取了一段FP8量化函数,让模型补全最后一个Token。

任务的正确答案应该是8,因为这段代码需要完成FP8相关的类型转换。

但模型有时偏偏觉得应该补成32。

为了搞清到底咋回事,研究人员在代码前面加了一段纯装饰性的文档字符串,里面放着一些重复的等号。

然后,他们开始调整等号的数量。

代码本身没改、要补全的位置没改、正确答案当然也没改……唯一的变化,就是前面多了这几个没什么实际意义的Token。

结果,DeepSeek的答案开始反复横跳。

当填充长度落在某些位置时,模型更倾向于回答错误的32。

往前挪一两个Token,又开始倾向于正确的8。

再继续挪,错误答案又回来了—— 整个过程以4个Token为周期重复 更具体地说,在论文测试的16种填充长度中,当长度模4的余数为0或1时,模型倾向于错误答案32;

余数为2或3时,则倾向于正确答案8。

研究人员还统计了模型给两个候选答案分配的概率。

在一组位置上,错误答案32的平均概率达到71.

3%,正确答案8只有26.

4%。

换到另一组位置,情况直接反过来: 正确答案8的平均概率升到91.

5%,错误答案32只剩7.

2%。

也就是说,前面几个无关字符的长度变化,足以让模型对同一道题产生截然不同的判断。

这就有点难评了。

程序员调试代码,通常先检查逻辑、变量和依赖。

现在看来,可能还得顺手检查一下,前面是不是多打了两个等号。

不过单个代码补全案例,还不足以说明问题有多普遍。

于是Seed团队继续扩大测试。

他们把目光转向大模型长上下文能力里很经典的一项任务, 大海捞针 研究人员构造了一段长达128K Token的上下文,里面包含约 1.

6万个键值对 比如K1对应V1,K2对应V2…… 然后让模型从中找出指定Key对应的Value。

测试过程中,键值关系不变,问题不变,上下文总长度也保持一致。

研究人员重点调整 目标信息相对于压缩窗口边界的位置 结果发现,DeepSeek-V4系列的准确率曲线,竟然呈现出非常明显的周期性起伏。

其中DeepSeek-V4-Flash-Base在不同位置之间的最大准确率差距达到40.

2个百分点 DeepSeek-V4-Pro-Base也达到34.

8个百分点。

经过 后训练 之后,情况有所改善。

DeepSeek-V4-Flash-0731的差距缩小到19.

1个百分点,DeepSeek-V4-Pro-0813缩小到14.

8个百分点。

而更新的DeepSeek-V4.

1-Flash-0910,差距进一步降至6.

1个百分点。

但周期性差异依然存在。

这种差异性是怎么来的呢?

再往细看,DeepSeek-V4的波动周期是4个Token,DeepSeek-V4.

1则变成了2个Token。

研究人员发现,这 恰好对应两代模型各自采用的KV Cache压缩步长 好嘛,连答题表现的起伏周期,都和底层压缩配置对上了。

问题出在KV Cache压缩?

那咱就来说说KV Cache压缩。

大模型处理长上下文时,需要保存大量历史Token对应的Key和Value信息,供后续注意力计算使用。

上下文越长,这部分缓存占用的内存和计算开销就越大。

尤其是动辄几十万、上百万Token的长任务,KV Cache很容易成为推理效率的瓶颈。

所以DeepSeek-V4采用了 分块KV Cache压缩 思路是把连续的Token分成一个个窗口,再将窗口内的信息压缩成更少的缓存条目。

这样模型就不用为每个历史Token保留同样规模的缓存。

既节省内存,也能降低长上下

关注jx吉祥,了解更多体育资讯。

上一篇 林彪鞭打妻子无人敢劝,刘亚楼夺鞭大吼,林彪:刘亚楼管我,我服...
下一篇 天降大喜!明天开始贵人主动上门,这 3 个生肖福气围身、财运爆发,做梦都能笑醒...
◧ 内容提炼卡片布局

本文重点速览

如果你希望在最短时间内理解这篇内容,可以优先查看以下结构化摘要。

核心观点

围绕文章主旨提炼最关键的判断,让读者迅速把握内容方向与价值重点。

逻辑路径

帮助读者理解文章从背景、变化到结论的展开过程,而不只是看到孤立信息。

延展思考

提供进一步理解该主题的观察角度,方便继续跳转到更多相关内容。

▦ 三列延展阅读布局

你可能还想看

基于当前主题,推荐更多可以形成连续阅读体验的内容,让阅读不在这里中断。

太悲凉!董明珠回应格力业绩下滑,称铜涨价但不愿降低品质,网友泼冷水:格力现在只能拿铜说事了?

太悲凉!董明珠回应格力业绩下滑,称铜涨价但不愿降低品质,网友泼冷水:格力现在只能拿铜说事了?

格力电器2026年三季报的利润同比暴跌了43.31%,这个数字一出来,市场哗然。 面对断崖式下滑的业绩,董明珠最近在一次直播中给出了解释。她坦言业绩下滑是因为原材料铜在涨价,并直言不讳地表示: 格力宁可损失几十亿利润,也绝不降低品质,绝不用铝代替铜。 董明珠的这番表态,核心逻辑很明确:铜的可靠性远高于铝,用铝虽然成本能降下来,但消费者的利益会受损。作为一家长期主义的企业,格力宁愿牺牲短期的财务报表

人社部重点严查五类退休人员!

人社部重点严查五类退休人员!

当前社保基金专项核查持续推进,依托多部门大数据交叉核验,人社部重点排查五类退休人员的养老金领取资格,严厉打击欺诈骗保行为,守护社保基金安全。 第一类,伪造档案违规办理退休的人员。通过篡改年龄、工龄,伪造招工材料,虚增视同缴费年限,或是依靠虚假劳动关系、违规一次性补缴提前办理退休。一旦核查确认,退休资格将被撤销,已经领取的养老金需要全额退回。 第二类,重复领取养老金的人员。部分人员跨地区、跨险种同时

利物浦名宿:阿诺德应该回到英超,球队需要他在中场的创造力!

利物浦名宿:阿诺德应该回到英超,球队需要他在中场的创造力!

利物浦名宿卡拉格在节目当中说:“阿诺德犯了一个大错,但如果有利于利物浦足球俱乐部未来的发展,我会让他回来。” 传奇队长杰拉德也表示:“从能力和天赋来看,是的,我会让他回利物浦。” 距离阿诺德离开利物浦过去了18个月的时间,曾经高调表示希望能成为历史上第一个拿到金球奖的边后卫的雄心壮志还没有被球迷忘记,阿诺德却已经成为了皇马的绝对替补。本赛季仅仅代表皇马出场了7场比赛,出场时间更是只有356分钟,平

马天宇农场怼张泉灵,直言干活太慢,熟人相处就应该卸下客套的伪装

马天宇农场怼张泉灵,直言干活太慢,熟人相处就应该卸下客套的伪装

访谈节目里,明星大多习惯温和得体、面面俱到,很少有人愿意把急躁直白的一面摊在镜头前。 马天宇和张泉灵在农场种菜这段片段流出之后,迅速引来大量网友围观。没有精致的话术铺垫,没有刻意营造的温情剧本,马天宇看着动作生疏、拔菜缓慢的张泉灵,直接脱口而出那句 “你要真跟我做朋友,我能急死,我能把你推一边去”。 一场看似犀利的互怼,撕开了两个人之间不用客套的知己关系,也让大家看见,一直以温柔示人的马天宇,藏在

看了朱珠,再看董洁,我发现:大衣下面不搭裤子、运动鞋,更优雅

看了朱珠,再看董洁,我发现:大衣下面不搭裤子、运动鞋,更优雅

进入冬天之后全国各个城市都在面临不同程度的下降,尤其是早晚出门的时候,选择单薄的服装已经满足不了保暖需求了,那么这时候我们就需要选对正确的穿搭方式,同时我们还可以学习明星博主的穿搭,比如像是朱珠的冬季穿搭,再看董洁的穿搭,发现她们都到了奔四奔五的年纪了,但是她们看起来真的好年轻。 尤其是面对寒冷的冬天我们尽量不要盲目的追赶潮流,同时也不要随意的支配自己,而是选择穿衣打扮要符合风格和魅力,这样才能更

融创和广西建工合办的一家地产公司,负债14亿

融创和广西建工合办的一家地产公司,负债14亿

停工、复工、又停工,融创与广西建工在广西北海市合力打造的房地产项目——钻石海湾,终于确定要重整了。 钻石海湾的备案名是“海映长滩小区”。项目在北海市廉州湾,距离海岸线最近不足100米,稀缺性不言而喻。 项目售楼部 项目由南宁融创基业房地产开发有限公司和广西大都投资有限公司合作开发。项目面积达400亩,分三块地开发。 按照规划,钻石海湾是一个大型综合体,不仅有住宅、商业街,还有艺术中心、社区医院。其

◫ 深读问答折叠布局

关于本文主题的常见问题

将阅读过程中的典型问题提炼为 FAQ,有助于读者在理解正文之外进一步建立完整认知。

这篇文章最值得先读哪一部分?

建议优先阅读导语、核心段落与总结部分,这些内容通常承担主旨表达、结论归纳和重点提示的功能。

本文适合哪些读者继续深读?

如果你希望获得比“快讯”更完整的背景、逻辑与延展判断,那么这类正文内容会更适合你的阅读目标。

哪里可以看到更多相关文章?

可继续查看页面下方推荐阅读、右侧相关文章与栏目列表页,这些入口能帮助你持续扩展主题理解。

正文在移动端是否方便阅读?

方便。字体间距、段落层级、图片比例与按钮交互都针对移动端做过适配,长文阅读节奏更平稳。