马斯克首席AI脑与莱姆病抗争,曾师从丘成桐,杨格宣布辞职
6 小时前 / 阅读约6分钟
来源:36kr
xAI联合创始人Greg Yang宣布离职,转任非正式顾问。他长期与莱姆病斗争,曾是马斯克打造“理解宇宙AI”愿景的关键数学架构师,离职对xAI是损失,但团队仍可求助。

太突然了!马斯克xAI核心架构师、联创之一杨格宣布离职,转任非正式顾问。他首次公开长期与「莱姆病」斗争的经历,等到满血复活再复出。

马斯克痛失一员大将!

xAI联合创始人、Grok核心架构师Greg Yang(杨格)突然爆料,自己一直在遭受「莱姆病」的折磨。

最终,他决定辞去xAI创始人一职,退居幕后转为非正式的「顾问」角色。

一直以来,在个人主页中,Greg Yang都自称是「xAI的数学家」。

不仅如此,他被视为马斯克打造「理解宇宙AI」这一愿景背后的关键数学架构师。

对于xAI来说,又损失了一位骨干成员。不过,非正式顾问角色,意味着团队可以在重大问题上求助Greg。

评论区中,马斯克和同事们为Greg Yang早日康复送上了祝福。

数学天才,突患「莱姆病」

莱姆病(Lyme disease)是出了名的难确诊,好在Greg Yang遇到了一位非常棒的医生。

这一切,都要从2025年说起,当时Greg生了一场病后,却发现——

哪怕在「痊愈」好几周后,自己也能明显感到精力大不如前,创造力下降,做事的劲头(agentic)也变差了。

那之后身体状况时好时坏,但每一次低谷都比上一次陷得更深。

只是不小心吃错了点东西就会极度疲惫,得缓好几天才能恢复。甚至,健个身全身都会虚脱好几天。

据他透露,有一周,每天即便是睡12个小时,也还是缓不过来。

就诊之后,医生坚定认为这些症状绝非个人心理作用,而是免疫系统出了问题。

经过几轮像破案一样的检查,终于确诊了莱姆病。

关于慢性莱姆病,目前的医学文献和公众认知都还不够。对于身患此病的人来说,这是一场孤独的战斗

这是一种由蜱虫叮咬引起的细菌感染,伤口会像靶心一样红肿。幸好发现得及时,若是五六十岁才发现,可能让人完全丧失行动能力,甚至卧床不起。

Greg得知后非常惊讶,甚至完全不记得自己被咬过。

他表示,很可能感染早已存在,只是在最近在xAI工作导致免疫力下降,症状才爆发出来。

几乎所有人都是,只有在自己身体垮掉之后,才知道健康的重要性。

关于这次生病,Greg回想起有人曾对他说「你不该把自己逼得那么紧」,很庆幸他真的这么做了,才尽早发现了问题。

现在要紧的是,让身体慢慢恢复,等满血复活,就能以更猛的状态继续拼。

师从丘成桐,马斯克首席AI脑

Greg Yang是典型的数学天才,也是马斯克最青睐的那类「硬核极客」。

他出生于湖南,初中时期随父母移居美国。

学历背景这块,他曾获得了哈佛大学的数学学士学位,师从数学巨擘丘成桐。

他曾获得过本科数学最高荣誉之一的Morgan Prize,以及Putnam Fellow(普特南数学竞赛)优胜者。

有趣的是,Greg Yang在XSpaces聊天中曾透露,在哈佛读本科期间,有过一段休学经历。

那段时间,他转型成为DJ和回响贝斯音乐制作人。最终意识到,自己终极理想不在于DJ,而是数学。

再之后,他又拿下了哈佛大学计算机科学硕士学位。

毕业后,他没有按部就班地读完博士学位,反而直接进入了微软研究院(MSR)这一全球顶级AI殿堂,任高级研究员。

这期间,Greg完成了Tensor Programs系列论文,奠定了他在AI界的理论地位。

这么说吧,Greg Yang在AI界最著名的身份是Tensor Programs「理论之父」。他的研究试图将深度学习从「炼金术」,转变为一门严谨的「科学」。

以往,训练超大模型如GPT-3,调参极其昂贵,所以人们不敢在大模型上反复试错。

他于是提出了一个mμP(Maximal Update Parameterization)的技术。

这让研究人员在很小的模型(比如几百万参数)上调好参数,然后零样本(Zero-Shot)直接迁移到几十亿、上千亿参数的大模型上,且实现效果最优。

创办xAI后,Greg Yang继续延续了自己在Tensor Programs的工作。2023年10月,第四个系列论文出世。

这篇论文做了几件事儿——

它讨论深残差网络在「先无限宽、再无限深」的极限下,如何分类不同的深度参数化。

他提出并证实了Depth-μP参数化,可以让深度方向也能做超参迁移。

总言之,Tensor Programs的实践意义之一就是让「极大模型的超参可以从小模型迁移」,把理论与工程调参成本直接挂钩。

这为xAI节省了天文数字般的算力成本。

没有这项技术,Grok这种级别的模型训练成本将高出许多倍。

在个人主页上,Greg Yang毫不掩饰自己的野心——建立一个大规模深度学习的统一理论,该理论能够:

1)告诉我们扩展神经网络的最佳方式;

2)对这些模型提供强有力的理论理解,从而指导安全性与对齐性的研究工作。

他的离职,对于马斯克来说,痛失一个能听懂他的「宇宙狂想」,并将其转化为可执行代码的大脑。

外媒称,过去一年,另外两名xAI联合创始人也离开了公司。

在高层大换血之际,马斯克还许诺了今年上半年Grok 5的上线,真是有点期待了。

参考资料:

https://x.com/TheGregYang/status/2013652609455006006?s=20  

https://thegregyang.com/