曾妍的新论文,就是字节 “10万亿”路线图
1 小时前 / 阅读约14分钟
来源:36kr
字节跳动95后曾妍一年内职级连跳两级,成为Seedance核心负责人。她主张从扩散模型出发、相信规模效应,与张一鸣长期主义理念契合。字节正从多线赛马转向集中押注,资源聚焦核心项目。

95后的曾妍,正在快速晋升。

曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章《字节的“罗福莉”,撑起了Seedance的半边天》中曾对她进行过详细报道。

如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而到了11月,她的职级达到了4-2,实现一年连跳两级。并且曾妍从原Seed核心负责人周畅手中,接过了越来越多的工作。

在人才密度极高的字节Seed团队,这样的速度并不多见。

究其原因,或许是因为曾妍的路线更贴合张一鸣的想法。曾妍作为项目负责人,带队发表的论文就是最好的例证。

这篇论文名为《Cola2:把视频生成领域的扩散模型与连续隐空间方法用于语言建模》,其权重于11月上半旬开放在Hugging Face上。

论文提出了一种方法,让模型通过生成视频的方法来处理文字。根据论文披露,这种方法不仅更节省算力,而且还让生成的效果更好。

这篇论文同时也是一份路线图。

曾妍从扩散模型出发,相信规模效应的路线,与外媒爆料中,张一鸣亲自带队的超大参数模型理念一致,也契合张一鸣在字节内部会上提出的长期主义。

在算力饥渴的当下,字节很难支撑多线并行的策略。于是字节将部门合并,多线赛马转向了集中押注。先在一个模态上打赢,再让赢的人带着方法走向其他模态。

曾妍的路线,就是这场押注。

Cola2讲了什么

在解释Cola2这篇论文之前,得先科普一个事。

当下主流的大语言模型,比如DeepSeek、Qwen、豆包,它们用的都是同一种办法,叫“自回归”。如同成语接龙一样,根据前面已经写出来的内容,猜下一个 token是什么,猜完一个再猜下一个,从左到右,一个一个往外蹦。

这套办法很成功,但它有个天生的毛病,就是没法像我们写文章一样,提前写个提纲出来。

人写文章的时候,往往是先想好这段要讲什么,再去组织语言。自回归模型是边写边想,写到哪算哪,而且必须排队,只要前一个字没写,那这辈子也别想写后一个字。

Cola2的思路,是把写字这件事拆成两层。

第一层,先在一个叫“连续隐空间”的地方,把“要说什么”想清楚;第二层,再把想好的意思,落成一个个具体的字。

相当于第一层是列提纲,第二层是照着提纲把正文写出来。

虽然“隐空间”这个词带点科幻色彩,不过其实用AI生成视频的人天天都在用。

一段视频的原始数据是很大的,如果直接拿来训练,那会导致算力不够。所以视频生成模型的通行做法,是先把画面压成一个体积小得多的“压缩包”,模型在压缩包里干活,最后再解压成一帧一帧的画面。

在压缩包里干的活叫做“扩散”。这跟过去冲洗照片一样,一开始是一张全是雪花点的底片,模型一步步把噪点擦掉,画面就慢慢浮现出来。

Cola2的逻辑,就是把“生成文字”当成“生成视频”来处理。

这个逻辑早在第一代的Cola DLM上就已经有了,但Cola DLM有短板。Cola2的论文表示,Cola DLM在生成类任务上偏弱,问题出在负责“写正文”的那个解码器上。于是Cola2的主要作用,就是来弥补这个短板,它比上一代多做了三件事。

第一件,是学会按意思切。

想要像压缩视频一样压缩文字,就先要决定好到底去怎么切块。

老办法是死板地按长度切,比如每两个token一块,结果“北京烤鸭”就有可能被切成“北京”和“烤鸭”,也可能被切成“京烤”这种不知所云的东西。

Cola2改成按意思动态切,平均每两个token压成一个“提纲点”,具体哪几个放在一起,由内容来决定。

压缩多少,靠的是一个类似空调恒温器的负反馈机制。压得太狠,比如“北”、“京”、“烤”、“鸭”就自动松一点。压得太松,比如“北京烤鸭好吃”,就自动紧一点,始终稳在目标附近。

实验里,按意思切比按固定长度切,准确率高8.2%。更有意思的是,在合适的设置下,压缩之后的成绩(29.4%)比完全不压缩(28.7%)还略好一点。说明压掉的主要是“水分”。

第二件,是让写正文的人既能照着念,也能自己编。

如果解码器只会照着提纲念,那提纲一出错,整篇文章自然就全错了。所以Cola2训练解码器时,故意给它三种提纲:一种清清楚楚,一种被加了噪点、看不太清,还有一种干脆不给提纲。

就像训练一个演员,提词器有时候清楚,有时候花屏,有时候直接黑了,他都得能往下演。

最后选定的比例是,只有两成情况给清楚的提纲,剩下八成都是模糊的或者没有的。即便这样,解码器照着清楚提纲还原原文的准确率,仍然保持在99.5%以上。

到了真正写东西的时候,再用 CFG 这个旋钮,调节“听提纲的”和“自己发挥的”各占多少。

第三件,是让提纲和正文一起训练。这也是副标题里Co-Adaptive(协同适应)所指的事情。

以前的做法往往是先把“压缩器”训练好、冻住,再去练写正文的。

如果提纲模板定死了,那在写文章的时候,即便发现提纲有问题,提纲那边也是全然不管。Cola2干脆让两边一起练,写正文的觉得哪里不够用,信号就会传回去,逼着提纲那边调整。

实验结果里,如果把压缩器完全定死不允许修改,成绩是47.6%。两边一起练,涨到53.5%。再加上一个允许压缩器学会“预判后文”的训练目标,成绩就会提升到58.2%。

这里还有个反直觉的设计。负责列提纲的 DiT,只准学,不准反过来改压缩器。

Cola2在训练上用了约3460亿个token,模型还没收敛,8项任务平均60.10分,在HellaSwag和StoryCloze两项上超过了Llama-3-8B。而Llama-3公开的预训练量在15万亿 token 以上,是它的43倍多。

而在算力方面,按照论文的说法,因为平均两个token压成一个提纲点,DiT要处理的序列短了一半,理论上,它主要的计算量会降到原来的一半,注意力部分降到四分之一。

论文最后一部分写到:模型“远未收敛”,尤其是 DiT。训练规模“受限于可用资源”。要摸到这条路的上限,需要更大的模型、更长的训练、更多的数据和算力。

此外,论文还表示,连续隐空间可能成为文字和图像、视频之间的共享接口,通向“理解与生成的统一”。

“理解与生成的统一”,正是周畅在字节讲了一年多,但没讲通的故事。

曾妍的路线更符合张一鸣

11月12日,澎湃新闻报道,张一鸣最近在一次面向AI团队的全员会上说,字节有能力和OpenAI、Anthropic竞争,但真正追平前沿,“最早也要到2029年或2030年”。

张一鸣表示,和海外顶尖公司比,Seed模型的预训练数据规模“仍然少了”,这是眼下最需要关注的问题。同一时间,外媒报道称,Seed正在预训练一款参数最高可达10万亿的模型。

数据不够、模型要往大做、要坚持长期主义。这显然更偏向于曾妍的路线。周畅的路线,则和这个方向不太一样。

2025年7月,原本负责视觉生成的杨建朝离开,图像生成、视频生成这条线划给了周畅。从那以后,他在字节内部开始推一套新的说法,叫“多模态理解与生成统一”。

周畅的想法,是从理解这一头出发,把生成也收进来,让一个模型既能看又能画。

但这个故事没讲成。

周畅接手后,最能体现这套统一思路的成果,是今年2月和Seedance 2.0同期发布的图像模型Seedream 5.0 Lite。

字节内部对5.0 Lite的评价是“a relatively small model”(一个相对较小的模型),在结构稳定性、写实度、审美上“仍有改进空间”。社区的普遍看法是,周畅懂理解,但对生成没那么熟。

一位阿里Qwen的研究员表示,“理解、生成统一”基本没有已知很有效的方案,目前没谁能做到。这种时候往里堆参数,未必能堆出结果。

今年8月,Seed做了一轮组织调整,周畅起家的VLM被并进了大语言模型体系,从一个独立部门,变成了一个数据子部门。一位Seed内部人士说:“他(周畅)丢了龙兴之地,基本就没有核心地盘了。”

其实曾妍也是做理解出身的。2021年入职才两个月,她就以第一作者身份发了X-VLM,研究的是怎么让AI把图片里的东西和文字对上号。

比如你说“穿红衣服的小女孩在骑自行车”,模型得在图里准确找到那个小女孩。

2023年转入Seed之后,她开始往生成这条道上走。2024年曾妍参与的PixelDance,解决的就是视频里人物一动就变形的问题,它是现在字节视频生成的核心技术底座,也是后面Seedance这个名字的由来。

Seedance 2.0的成功,和“理解生成统一”并没有直接关系。它是把视频和音频放进同一个DiT里一起生成,画面和声音天生对得上。Seedance 2.0的能力,主要来自于曾妍所擅长的“连续”。

因此有Seed人士表示,曾妍才是Seedance的实际leader,技术和决策都在她这一层。

理解和生成的训练目标不一样,数据的样子不一样,计算方式也不一样。如果硬塞进一个模型里,两边容易互相拖后腿。

就跟《射雕》里面周伯通的左右互搏术一样,左手画圆很简单,右手画方也很简单,可是两边一起就是难上加难。

在这个问题上,周畅和曾妍走的是相反的方向。

周畅是从语言模型出发,曾妍是从扩散模型出发。

更关键的是,曾妍比周畅更相信规模。

2025年底,Seedance团队曾经有过一次聚餐,讨论下一代模型的训练方案。曾妍提出要训一个更大的模型,参数至少200B,也就是2000亿。团队里有人觉得太冒进,先训100B更稳妥,曾妍坚持一步到位。后来在Seed的正式评审会上,吴永辉和周畅都支持了她的方案。

此前,外网曾有爆料,称张一鸣正在领导字节做一个10万亿参数的大模型,并且身为中国首富的他亲自参与项目。显然,曾妍的路线,和张一鸣想要做的事情更贴合一些。

最后还有一层,是出身。

周畅是字节用八位数年薪挖来的,来的时候带了十几个阿里旧部,还因此引出了阿里的竞业仲裁。他在字节两年,至少两次传出离职。

一位Seed内部人士说:“周畅总是玩乌龙,他每次想走,过两周又留下来。”

曾妍则是字节自己的校招生,五年做到4-2,一路都在Seedance这条线上。对于字节来说,周畅和曾妍是亲疏有别。

字节正从多线赛马变成集中押注

每当字节踏进一个新领域,通常会不止成立一个团队,张一鸣更愿意同时铺好几支队伍并行探索,谁跑出来就押谁。抖音就是这么跑出来的。

做大模型也是一样。

过去两年,Seed招了国内最多的一批顶尖研究员,分散在文本、代码、视觉、语音、推理等各个方向。据晚点报道,曾有人向他们许诺,在这里可以靠自己的创新引领“潮头”。

一位曾在Seed的研究员说:“每个人都想成就一番事业。”

但两年过去,“潮头”太多,反而成了字节在AI上前进的阻力。

算力是最大的问题。

大参数模型最吃的就是算力,而算力也是最稀缺、最珍贵的资源。

根据晚点的说法,尽管字节曾是在AI上投入最坚决的一家公司,但眼下的算力储备也难再支撑多线并行的研发模式,集中资源推进少数核心项目,成了更现实的选择。

家里孩子多,再加上以前家底厚,每个孩子都能报好几个兴趣班。现在想让一个孩子去上顶尖名校,然后考出好成绩出人头地,那其他表现一般的孩子就得少上点兴趣班了。

前面提到的字节8月组织调整,就是这个逻辑。

Seed的基础模型团队新设了四个一级部门:预训练数据、强化学习、面向办公的后训练、面向对话的后训练,负责人都直接向吴永辉汇报。

公告里写到:“合并相似工作、减少overlap(重合),内聚在一起。”

以前Seed是按模态分团队的,文本、代码、视觉、推理各自有自己的数据团队、后训练团队。

这在早期有利于快速补齐各项能力,但方向一多,团队的业务就开始重合,有的方向重复投入,跨团队沟通的成本也越来越高。

模型变大不是简单地加参数,它是一个系统工程。

参数多了,需要更多、更好的数据同步跟上,否则多出来的参数只是在重复学已经学过的东西。这也就导致,即便再往里砸钱,也很难有什么收益。

5万亿、10万亿参数的规模,容不下每个模态各养一套数据团队、各搞一套后训练。

另外,字节希望下一代模型直接走向Omni(全模态),也就是语言、代码、视觉、语音都进同一个底座。

正因如此,各类数据放多少、什么阶段放、怎么保持平衡,都会影响最终能力。

一位从业者对晚点说:“Omni是行业的趋势。”

腾讯今年7月把多模态模型部门并给了姚顺雨负责的大语言模型部门,阿里从Qwen3.5开始,把视觉能力直接融进主线模型,没有再单独发通用的视觉理解模型,DeepSeek V4.1 Flash也原生集成了视觉理解。

Seedance已经证明,领先的模型能力可以迅速换来用户增长和API收入。

当然,字节也不是只看眼前收入。

张一鸣在Seed的一次内部会上说过,可以接受模型在一段时间内落后,希望团队把追求智能上限当作更重要的目标。

他还表示,做模型要坚持长期主义、延迟满足感,而不是用别人的输出,换一时的榜单排名。

11月初的报道显示,Seedance的海外收入占比已经达到50%,过去半年海外收入涨了近5倍。

但在最重要的基础模型战场上,Seed仍处于追赶状态。尤其是编程和Agent能力,明显落后于月之暗面、智谱这些创业公司。

张一鸣认为,字节追上前沿模型的时间,“最早也要到2029年或2030年”。

所以字节选择曾妍,本质上是在押注一条路径:先在一个模态上打赢,再让打赢的人,带着赢下来的方法,往别的模态扩。

当年字节也是这么起家的。先在今日头条上把推荐算法跑通,再把这套打法搬到抖音上。