Llama 4的训练存在严重问题，已经向GenAI提交辞职

经过反复训练，其实内部模型的表现依然未能达到开源SOTA，甚至与之相差甚远。公司领导层建议将各个benchmark的测试集混合在post-training过程中，目的是希望能够在各项指标上交差，拿出一个“看起来可以”的结果。而如果未能在4月底的设置的deadline前达成目标，后果将不堪设想。昨日Llama 4发布之后，X和Reddit上已经有很多人实测结果非常差。
作为一名目前也在学术界的人，我实在无法接受这种做法。因此，已经提交离职申请，并且明确表示之后Llama 4的Technical Report中不要署上我的名字。Meta的VP of AI也是因为这个原因辞职的。

ylcsjtu 发表于 2025-04-06 19:37:12
这两天虚心聆听各方feedback (比如coding, creative writing等缺陷，必须改进)，希望能在下一版有提升。
但为了刷点而overfit

news source:
'Results Were Fudged': Departing Meta AI Chief Confirms Llama 4 Benchmark Manipulation (ft.com)
好一个大义凌然

这两天虚心聆听各方feedback (比如coding, creative writing等缺陷，必须改进)，希望能在下一版有提升。

但为了刷点而overfit测试集我们从来没有做过，实名Licheng Yu，两个oss model的posttraining有经手我这边。请告知哪条prompt是测试集选出来放进训练集的，我给你磕一个+道歉！

这个帖子里meta ai同学们一直用爆料自己真实身份来压大家的质疑 但你们的这个一点都没有逻辑

你们爆料自己身份和llama4有没有overfit 一点关系都没有

你们自称看过所有data然后让我们来找出overfit的data 首先我们外部的人怎么可能有access到你们的training data？再其次让吹哨者在public 场合指出你们overfit 用的data和让他自杀没区别 这个在法律上严重多了 你们知道吹哨人不敢这么做。你们就是在明明知道both 大众和吹哨者都无法做到这件事的时候通过爆料自己身份让自己看起来站在道德制高点来让别人看起来不占理 你们这个操作就很下作

再其次 你们不可能看过所有data 物理上就不可能 就是在公众场合欺骗大众 你们有一条一条得把所有data 都跑一遍污染检测吗？你敢说你们做到了这一点？

再其次 现在已经有benchmark证明llama4有很大overfit的嫌疑 然后在arena leaderboard 上被证实弄虚作假之后 你们结果现在都不出声不敢担责了 那你们作为一个人的修为是不是也很有问题呢？

我觉得大家还是留意一下这个帖子里的meta同学吧 离他们远一点为好 我是不想看到这样的人在自己公司工作的。不好好做科研就想着取巧，llama就是被这帮人搞砸的，这种人不管去哪里都是灾难性的

匿名用户 发表于 2025-04-06 17:27:52
作为在gemini里打杂的一个 我有极大的理由怀疑meta其实还严重窃取了gemini的工作…

请问窃取了你们啥工作？可以说出来具体的技术细节吗？看看是不是绝密技术。需要的话你可以搜我：Di Jin，我有Google scholar

还有intergrity的人在meta工作是一种折磨，支持lz

看来各公司大裁员在路上，郁金香的故事吹不下去了！

应该去发推特

匿名用户 发表于 2025-4-6 19:22
看来各公司大裁员在路上，郁金香的故事吹不下去了！

脸冲上去可是就是靠ai这一波的。
看来ai的泡泡要坚持不了多久了。

匿名用户 发表于 2025-4-6 17:25
脸冲上去可是就是靠ai这一波的。
看来ai的泡泡要坚持不了多久了。

在ads org工作过的表示 ai 撑起来meta ads growth 就是放p，小扎还是当年那个干啥毁啥只不过乘上了几次东风的小人罢了

作为在gemini里打杂的一个 我有极大的理由怀疑meta其实还严重窃取了gemini的工作…

如果 deadline 是四月底
为什么着急在 4 月 5 号发布掺假的结果？
明明还有 3 个多星期继续改进

？？llama4上哪些人是主要领导层？

有骨气！有风骨！
一个只能做RAG genAI app的普通码农飘过，仰视你们这群大牛