跳到正文
meng shao· @shao__meng · X·· 3 小时前AI 评分63
AI 导读

@ShoufaChen 以训练投毒事件直接受害者身份发布第一人称陈述,回顾 2024 年数月训练排查、对峙与质疑的经历。

正文 · 原文

两年前「田柯宇训练投毒事件」亲历者、受害者的第一人称陈述,值得被看见!

关于「训练投毒」的整体经过和客观事实,大家看晚点的报道和 @ShoufaChen 的内容原文,我就不过多解读了,我自己读完后,倒是对字节有一些新的感受。

起家于头条,壮大于抖音,字节被人看到的一直都是一个「C 端 App 宇宙」的模样,即使它有火山引擎、有飞书等等,人们熟知它还是 C 端 App;包括近两年大批的字节产品经理出来创业,做的也大多是 C 端 AI 应用,比如 Lovart、Today AI 等等 ...

C 端 App 很讲究 idea 所以产品经理本身的天马行空和灵光乍现,会起到很关键的作用,也能让他的小组在若干匹马中通过「大厂赛马」机制跑出来,有好的资源、好的数据、好的 OKR 达成、并壮大为一个完整业务团队甚至部门。

字节也一直沿袭着这样的方式,俗称「字节范」,但这可能恰恰是字节的 LLM 做不好的原因。想想字节当年买了多少 GPU,在国内厂商中绝对前列。但做 LLM 训练本身并不是一个依靠 idead 的事,至少要的不是产品经理的 idea;而训练过程也不是每个阶段都能量化出 OKR 和漂亮数据的,比如前期数据采集、清洗的过程,比如预训练中反复磨 infra 和反复推倒重训的过程,都有太多是不符合字节范的。

如果能像腾讯引入姚顺雨或者阿里当年重用林俊旸一样,确立一位 LLM 方向唯一负责人,把整个训练过程和底层 infra、算力、数据相关资源和团队统筹起来,或许还有一战之力。前车之鉴 Google,前面 Nano Banana 和 Veo 爆火后,重心明显散掉了,算力和其他资源投入也散掉了,现在呢?可能回不来了。

引用ShoufaChen@ShoufaChen
[1/n] 作为这场训练“投毒”事件最直接的受害者,2024年那几个月漫长的训练排查、对峙与质疑,对我而言是一段炼狱般的经历,也是一场对意志和技术的锤炼。 感谢好友们最艰难的时候支持陪伴。也感谢当时所有并肩作战的同事们。
在 X 查看被引用的帖子

来源:meng shao · x.com