#Meta

hypothetically, if yann lecun fundraised for a new AGI lab for himself... how much would it be worth?

Advanced Machine Intelligence (AMI) 正在打造新一代 AI 系统，它们能够理解世界、拥有持久记忆、可以推理和规划，并且可控且安全。 我们从相信我们以世界模型为核心的通用智能系统愿景的全球投资者那里筹集了 10.3 亿美元（约 8.9 亿欧元）的一轮融资。本轮融资由 Cathay Innovation、Greycroft、Hiro Capital、HV Capital 和 Bezos Expeditions 共同领投，并有来自世界各地的其他投资者和天使投资人参与。 我们是一支不断壮大的研究者和构建者团队，从第一天起就在巴黎、纽约、蒙特利尔和新加坡运营。 阅读更多：https://amilabs.xyz/ AMI - Real world. Real intelligence.

18 months ago, I decided to join with @Red_Xiao_ and @peakji on my sofa. No one knew where it would lead. We just kept building, pivoting, and shipping—again and again—until now. Grateful to our team and every user who believed early. Day 1 isn’t over. We’ll keep shipping. More on the journey: https://x.com/hidecloud/status/2003106556532183274?s=20

Yann在这里完全说错了，他把通用智能和万能智能混为一谈了。 大脑是我们在宇宙中（迄今为止）所知的最精妙、最复杂的现象，而且它们事实上极其通用。 显然，人们无法绕过“没有免费午餐”定理，因此在一个实际且有限的系统中，总得围绕所学习的目标分布存在某种程度的专门化。 但关于通用性的要点在于，从理论上讲，在图灵机的意义上，这样一个通用系统的架构能够在给定足够时间、内存（和数据）的情况下学习任何可计算的东西，而人脑（以及AI基础模型）都是近似的图灵机。 最后，关于Yann对国际象棋棋手的评论，令人惊叹的是人类竟然能首先发明国际象棋（以及现代文明从科学到747飞机的所有其他方面！），更不用说像Magnus这样的人能把它下得如此出色。他可能并非严格意义上的最优（毕竟他的记忆有限，做决定的时间也有限），但考虑到他和我们的大脑是为狩猎采集而进化出来的，我们能用大脑做到的事情实在令人难以置信。

我不断看到关于 TPU 的东西，有什么实质性的新进展吗？ 没有证据表明 Google 曾在非 TPU 硬件上训练过 Gemini，这可以追溯到多年前 GPT 之前的模型，比如 BERT。TPU 比 Nvidia 自己的张量核心还要早。 Anthropic（以及 Character、SSI 和 Midjourney……）长期以来一直在使用 TPU，如果 Meta *没有* 在考虑它们，我会感到惊讶。 Nvidia 的护城河对大型实验室来说从来都不深——看看 OpenAI 决定它可以做得比 CUDA 更好，转而投资 Triton，在基准测试中经常胜过 CUDNN。这一切都没有什么神奇或结构性的东西，只是优秀的工程师在做优秀的工作。 TPU 并不比 GPU 高效多少，而微小的性能/功耗差异与 Meta 是否拥有正确的内核/系统工程人才来做到这一点相比，简直微不足道。Nvidia 和 Google 的护城河都很小，我们仍然处于个别优秀工程师就能扭转整个平衡的阶段。见下面的旧帖。 这难道……没有被定价进去吗？这些都是超级古老的公开信息。

Q. Who aligns the aligners? A. http://alignmentalignment.ai Today I’m humbled to announce an epoch-defining event: the launch of the 𝗖𝗲𝗻𝘁𝗲𝗿 𝗳𝗼𝗿 𝘁𝗵𝗲 𝗔𝗹𝗶𝗴𝗻𝗺𝗲𝗻𝘁 𝗼𝗳 𝗔𝗜 𝗔𝗹𝗶𝗴𝗻𝗺𝗲𝗻𝘁 𝗖𝗲𝗻𝘁𝗲𝗿𝘀.

One of the first pruning methods for neural nets came in 1989: Optimal Brain Damage by @ylecun et al. “We … derive a class of prac- tical and nearly optimal schemes for adapting the size of a neural network.” They pruned weights with low 2nd-derivative of the loss. https://t.co/WzIDQExX87

My latest (with @erikbryn) in @WSJ today: AI is already generating a lot of benefits ($97 billion in 2024 in the US alone, according to our calculations), but these benefits will not show up in GDP numbers for a while. https://t.co/lam7vR909E

This is insane. AI capex might account for a larger share of GDP than basically any technology since the railroad. Basically it’s a mini-wartime economy, but the guns are chips and the tanks are databases https://t.co/E11IxmYtOv

This false nomenclature of “researcher” and “engineer”, which is a thinly-masked way of describing a two-tier engineering system, is being deleted from @xAI today. There are only engineers. Researcher is a relic term from academia.

Ok this makes me super happy. The "NoFilter" work, paper, and advocacy that @angelinepouget and I argued so hard for is bearing fruit! Looks like it made MetaCLIP team massively change direction for their just released MetaCLIP2. This is now TheRightWay™, and thanks for the prominent ack in the paper🤗 Very eager to dig into that dataset!

We're excited to have @shengjia_zhao at the helm as Chief Scientist of Meta Superintelligence Labs. Big things are coming! 🚀 See Mark's post: https://www.threads.com/@zuck/post/DMiwjXJSYCd https://t.co/DRnpqBe1wD

OpenAI 的 IMO 消息这个周末对我打击挺重的 我想我还处在冲击的急性期 我自认为是一名职业数学家（一些真正的职业数学家可能会对这个说法有异议，但这是我的地盘我做主），而我觉得自己连一道 IMO 题都答不上来 好吧，是的，IMO 是数学里一个有点像竞技体育的细分领域，我并没有为此训练过，等等等等，但是。如果我在现实中遇到一个拥有 IMO 金牌的人，我会立刻更新为“这个人在数学上比我强得多” 现在一堆机器人能做到这件事了。作为一个把大量身份认同和实际生活都建立在“擅长数学”之上的人，这是一记重击。这是一种死亡。 就像，有一天你发现自己能和狗说话。这很有趣也很新奇，于是你做得更多，学习它们语言的精妙之处和它们最深层的习俗。你了解到别人对你的能力感到惊讶。你一直都不太合群，但你发现人们欣赏你的能力，想要你在身边帮忙。狗也欣赏你，你是唯一真正懂它们的双足动物。你为自己拼凑出一种归属感。然后有一天你醒来，万能狗语翻译器在沃尔玛只卖 4.99 美元 IMO 这个结果严格来说不算新闻。事实上，如果你看看 METR 的智能体任务时长随时间变化的图，我认为智能体能解决约 1.5 小时的问题正是如期而至。所以某种意义上我们不该感到惊讶。而且确实，似乎多家公司都取得了同样的结果。只是……潮水上涨的速度和它一直以来的上涨速度一样快 当然，为我作为数学家的个人身份（和/或作为社会中有生产力的一员）而悲伤，是这个故事里最小的部分 把这份悲伤乘以*每一位*数学家，乘以每一位程序员，也许每一位知识工作者，每一位艺术家……在未来几年里……这就是一个稍微大一点的故事了 当然，除此之外，还有对真正死亡的恐惧，这个也许我以后会再详细谈。 这一整套东西——对相关性的悲伤、对生命的悲伤、对我所熟知之物的悲伤——并不是 AI 时代独有的之类的东西。我认为这是当一个人接近职业生涯终点或生命终点时的一种常态。只是可能对许多人来说，它来得稍微早了一点，而且一下子全来了。 我想知道我们准备好了没有

We are seeing much faster AI progress than **Paul Christiano** and **Yudkowsky** predicted, who had gold in 2025 at 8% and 16% respectively, by methods that are more general than expected

So, all the models underperform humans on the new International Mathematical Olympiad questions, and Grok-4 is especially bad on it, even with best-of-n selection? Unbelievable! https://t.co/Z06oFaZ8Sc

🚨 Did you know that small-batch vanilla SGD without momentum (i.e. the first optimizer you learn about in intro ML) is virtually as fast as AdamW for LLM pretraining on a per-FLOP basis? 📜 1/n https://t.co/pE24dfjjlK

在当前的AI人才争夺战中，大家都聚焦于那些大数字（据称的薪酬方案）。这忽略了更大的图景：DeepSeek时刻之后的文化转变。 META是美国在开放科学（出版物）和开源（Llama）方面的领导者。OpenAI和Anthropic都众所周知地不开放。 AI人才流向META，就是拥抱开放性的AI人才。 这对行业是好事。对科学是好事。甚至对安全关切也是好事（更多透明度，更多人关注问题，更多解决方案）。这是一个值得庆祝的趋势。 OpenAI在今年夏天晚些时候发布一个开放权重模型（如下所承诺）可能会改变这种平衡。

The code and instruction-tuning data for MetaQuery are now open-sourced! Code: https://github.com/facebookresearch/metaquery Data: https://huggingface.co/collections/xcpan/metaquery-instruction-tuning-data-685b0f16d81ce54bcb7ea3a8 Two months ago, we released MetaQuery, a minimal training recipe for SOTA unified understanding and generation models. We showed that tuning few learnable queries can transfer the world knowledge, strong reasoning, and in-context learning capabilities inherent in MLLMs to image generation. With the training code now available, you can train MetaQuery yourself almost as easily as fine-tuning a diffusion model. We have also open-sourced our 2.4M instruction-tuning dataset. Sourced from web corpora, it offers diverse supervision beyond copy-pasting and unlocks many new exciting capabilities. Thanks @metaai for their support in making it open source!

1/ Excited to share that I’m taking on the role of leading Fundamental AI Research (FAIR) at Meta. Huge thanks to Joelle for everything. Look forward to working closely again with Yann & team.

We are open-sourcing all the models in Web-SSL, from ViT-L to ViT-7B! It was super fun to train and play with these massive ViTs. Models: https://huggingface.co/collections/facebook/web-ssl-68094132c15fbd7808d1e9bb Github: https://github.com/facebookresearch/webssl Huge credit to @DavidJFan for putting these models together!