技术方向
训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
242 条精选近 30 天 11 条共收录 1,904 条
Cloudflare宣布，自2026年9月15日起，其默认设置将屏蔽同时用于搜索、AI智能体及训练的“混合用途”爬虫访问托管广告的页面，除非站点所有者手动调整。此举旨在保护出版商内容不被无偿使用。同时将原有的“Pay Per Crawl”模式升级为“Pay Per Use”，允许出版商在内容创造价值时向AI公司收费，初期合作方为Ceramic.ai和You.com。Cloudflare数据显示，AI爬虫超过50%的抓取流量浪费在重复获取未变更页面上。新政策适用于新客户、现有客户的新站点及所有现有免费客户。
推荐理由：Cloudflare用基础设施商的话语权重新划定了AI内容付费线，默认屏蔽混合爬虫这一刀切下去，从Google到创业公司都躲不开，出版商到底该分多少钱的讨论终于有了一个落地的支点。
Meta 运营数百 EB 级存储集群，基于 Tectonic 分层存储层构建 BLOB 存储架构，以应对两大挑战：最大化 GPU 利用率与研究迭代速度。传统 BLOB 架构的多层元数据查询可导致数百毫秒延迟，使 GPU 因 I/O 等待停顿。新架构将训练栈逐步迁移到 BLOB 存储接口上，利用闪存提供可预测的低 pMax 延迟，避免单 GPU 慢速拖慢整批任务。同时，统一的数据湖访问支持地理分布 GPU 间的数据高速注入与跨区移动，提升研究效率。
推荐理由：Meta的存储架构复盘给出了一条明确路径，从重写元数据到分层缓存，他们把GPU利用率和研究者迭代速度同时提升了一个档次，做AI训练平台的值得细读。
Claude@claudeai精选AI 评分7676推出 Claude Science，一款面向研究每一阶段的全新应用。 构件可追溯至其代码，环境按需管理，并可连接 60 多个可选科学数据库。 现已开放 beta 版。
推荐理由：这不是又一个AI聊天界面套壳，而是把artifacts溯源码和60+科学数据库深度整合的科研工作台，实验室里被数据管理折磨的科研狗值得立刻看一眼。
美团正式发布并开源万亿参数大模型 LongCat-2.0，总参数 1.6T、平均激活约 48B，在五万卡国产算力集群上完成从预训练到推理的全流程。模型原生支持 1M 超长上下文，预训练数据超 30T tokens；训练月均日故障率降低 70% 以上，训练 MFU 提升 1.5 倍，稳态日吞吐超 1T tokens/day。
推荐理由：官方披露了国产五万卡集群训练万亿参数模型的稳定性与效率细节，以及多项基准成绩，对国产算力路线有参考价值。
Thinking Machines Lab 与 Bridgewater AIA Labs 发布研究，用专家投资者标注的数据微调 Qwen3-235B，在六项金融信息筛选任务上平均准确率从最佳前沿模型的 78.2% 提升至 84.7%，推理成本降低 13.8 倍。
推荐理由：原文给出了完整的训练配方和消融数据，读者可以看到专家标注加微调如何在特定任务上超过前沿模型并大幅降低成本。
韩国政府与三星、SK海力士等承诺1万亿美元实施三大旗舰项目。三星和SK海力士投资5850亿美元新建芯片工厂，目标五年内将DRAM产量翻倍；SK集团、GS集团和Naver投资3570亿美元在偏远省份建设AI数据中心；物理AI被指定为国家战略产业，现代汽车投资58亿美元建设机器人工厂和AI数据中心，计划到2028年每年生产3万台Atlas人形机器人，并在10大行业实现商业化。但现代汽车工会已批准罢工谈判，要求利润分享和岗位保护。
推荐理由：韩国砸 1 万亿美元砸向内存芯片和机器人，不只是产能竞赛，更是试图锁住 AI 硬件供应链的关键位置。但工会抗议和芯片暴利税收争议也浮现，值得追踪。
Anthropic在算力上的支出达到每位工程师每年51.5万美元，是其完全薪资（22.4万美元）的2.3倍。相比之下，顶尖1%软件公司的算力支出为8.9万美元，中位数仅为1.37万美元。三个2029年情景预测了这一差距的缩小路径。
推荐理由：Tomer Tunguz 用数据把 AI 公司的烧钱速度拆得很细，Anthropic 每个工程师年算力成本 51.5 万美元，是工资的 2.3 倍，这个数字对重新理解 SaaS 毛利率很有冲击力。
Google Research 发布 TabFM，一种基于上下文学习（ICL）的零样本基础模型，专为表格数据的分类与回归任务设计。TabFM 将整个数据集（包含训练样本与待预测行）作为统一提示输入，在推理时直接从上下文中学习行列关系，无需模型训练、超参数调优或特征工程。与需大量人工调优的传统方法（如 XGBoost）不同，TabFM 通过单次前向传播即可在新表格上生成高质量预测。该模型已在 Hugging Face 和 GitHub 上开源。
推荐理由：TabFM 把表格预测变成一次前向传播，不再需调参和特征工程，数据科学家可以少熬夜了。BigQuery 集成让使用门槛降到 SQL，这是表格 ML 的零样本时刻。
Google Research 发布扩展的建筑屋顶反射率数据集，覆盖全球 50 多个城市，旨在帮助城市规划者优先部署冷屋顶方案以缓解极端高温。该数据集融合 Sentinel-2 卫星数据与 30 厘米分辨率的 Airbus Pléiades Neo 卫星图像生成，可通过新的高分辨率 Heat Resilience Earth Engine App 开放获取。相关方法论发表于《Nature Communications》。此前 2024 年的试点已覆盖 14 个城市，其数据曾指导制定冷屋顶条例与适应计划。
推荐理由：谷歌把屋顶反照率数据的精度做到30厘米，覆盖50+城市，还给了免费App，城市防暑从模糊规划变成可量化的工程，做气候韧性的人可以直接拿这个数据做方案，虽然只是特定领域应用，但AI落地真实场景的路径值得参考。
SK 集团会长崔泰源 6 月 29 日宣布，计划到 2035 年建成 15GW AI 数据中心容量，作为韩国国家级基础设施和实体 AI 时代核心底座。项目总投资 1000 万亿韩元（约 4.4 万亿元人民币），未来 10 年保持年均 100 万亿韩元以上国内投资，旨在实现从出口传统商品向智能服务的转变，构建韩国智能市场。此外，SK 海力士将向韩国西南部投资 400 万亿韩元，半导体供应项目总投资达 1100 万亿韩元（约 4.84 万亿元人民币）。
推荐理由：SK 集团喊出 1000 万亿韩元建 AI 数据中心，数字唬人但周期长达十年，更像一种姿态宣示，真正改变算力市场格局还得看后续执行力和融资落地。
Elon Musk@elonmusk精选AI 评分7070推荐理由：Elon 亲自宣布 Grok 4.5 内部测试，性能可能超过 Opus，虽然还没公开可用，但每月从零训练新模型的节奏，意味着算力军备竞赛还在加速。
1—5月全国规上工业企业利润同比增18.8%。电子行业利润增103.9%，贡献率43.1%，主因全球AI技术变革推动高端算力芯片和存储芯片需求爆发。原材料制造业利润增83.1%，其中有色增117.1%、化工增71.6%。高技术制造业利润增44.7%，电子专用材料制造增665.4%。企业每百元营收成本降0.59元，营收利润率5.56%，为2024年以来累计最高。
推荐理由：国家统计局这组数据让AI不再是融资故事，电子行业利润增长103.9%，AI需求是实实在在的引擎，硬件供应链的价值该被重估了。
Dwarkesh Patel 撰文提出，下一个重大突破将是 AI 在部署后从真实工作中持续学习，而非仅靠 RLVR 训练。
推荐理由：作者提出可验证之外还需可反复模拟，并给出 OPSD 与 dreaming 两条通往持续学习的路径，帮助读者判断 RLVR 泛化争论。
General Intuition 以 23 亿美元估值完成 3.2 亿美元融资，累计披露融资 4.54 亿美元。公司从旗下游戏剪辑平台 Medal 获取数亿小时含精确按键动作标签的游戏操作数据，训练单一模型同时驾驭 Fortnite 等虚拟环境和四足机器人。演示中，AI 智能体在游戏中连续运行 100 小时，机器人仅靠 8 分钟真实街道数据微调即可自主探索办公室。本轮由 Khosla Ventures 领投，General Catalyst、Jeff Bezos、Eric Schmidt 等参投。资金将用于通过 CoreWeave 扩大计算规模、预训练下一代模型，计划夏末前开放 API。
推荐理由：用游戏按键数据训练世界模型，并在真机上八分钟完成适配，这个思路让具身智能看到了一条可规模化的路径。投资人押注的其实是 Medial 独有的动作标注数据飞轮。
OpenRouter 的零数据留存（ZDR）保证用户提示词和模型响应不被存储，元数据一般安全。自 1 月以来新增 97 款支持 ZDR 的模型，月度 token 量增长 4.3 倍，约占全部路由流量一半。ZDR 在三个层面执行：账户级（整个供应商开启）、护栏级（按 API Key 或组织成员限定）、单次请求级（传参数仅路由至 ZDR 端点）。企业用户可灵活选择控制粒度，避免锁定单一供应商。
推荐理由：ZDR 远不止“不存数据”这么简单，提示、响应、缓存的区分很多人没搞清楚。OpenRouter 的三层执行算是把自由度给足了，做合规服务的人可以仔细看看。
NVIDIA NeMo AutoModel 是基于 Transformers v5 的开源库，添加 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核。在 MoE 模型微调中，相比原生 v5，训练吞吐量提升 3.4–3.7 倍，GPU 内存减少 29–32%，仅需改动一行 import。在 16 节点 128 张 H100 上全微调 Nemotron 3 Ultra 550B A55B 时，v5 因内存不足无法运行，而 AutoModel 凭借 EP=64 专家并行使训练可行。单节点 30B MoE 模型（如 Qwen3-30B-A3B）同样获得可量化的性能优势。
推荐理由：英伟达的 NeMo AutoModel 把 MoE 模型微调速度提高了三倍多，内存省了近三分之一，代码只需改一行 import，做训练的可以立刻升级。
智能的一种定义是样本效率，但近年AI进步主要靠扩充数据分布和增加算力。强化学习本质是合成数据生成——投入大量算力通过验证器筛选“好”数据，再训练模型预测正确输出。这一过程需要每个领域和技能的海量人类专家示例，数据行业年收入已达数十亿美元。近日Epoch报告，开源模型仅落后前沿闭源模型4个月，原因在于数据可从公开API蒸馏，而超参数等不易复制。人类一生接触约2亿token，前沿模型训练在数十到数百T token之间，相差近百万倍——机器人、自动驾驶等领域同样存在巨大效率差距。
推荐理由：Dwarkesh 把 AI 的‘笨’归因于数据效率远低于人类，计算虽简但直指要害，他给出的一个逆向洞察是开源模型四个月追上闭源，正是数据驱动进步的最好证据。
参数高效微调（PEFT）技术中，LoRA 占据绝对主导：Hugging Face Hub 上 20,834 张提及单一 PEFT 技术的模型卡中 20,509 张指向 LoRA（98.4%）；外部站点 10,000 个检查点中 95.0% 是 LoRA；GitHub 搜索 `from peft import` 代码片段的 71.3% 结果为 LoRA。但研究者宣称其他技术超越 LoRA 的论文结果具备偏向性——调整学习率即可让 LoRA 匹配更优技术。Hugging Face 的 PEFT 库提供统一 API 实现 40 余种 PEFT 技术，并开始建立基准测试：在数学数据集上对 LLM 进行思维链推理微调，以帮助用户做出更优选择。
推荐理由：HuggingFace 的 PEFT 团队用公平基准把 LoRA 拉下神坛，图像生成任务上 OFT 表现更好，而且切换只需改一行配置。对微调选型有实打实的参考价值，但数据集有限，别全信。
波士顿儿童医院、哈佛大学与OpenAI合作，在《NEJM AI》发表研究。团队使用OpenAI o3 Deep Research推理模型重新分析376例此前未确诊的罕见病案例，产出基于证据的候选解释。经专家评审、额外检测和临床确认，医生在18例中建立诊断，额外诊断率达4.8%。研究显示，AI辅助工作流可帮助专家在未解病例中生成可检验假设，使定期再分析更具可扩展性。模型不直接诊断或做临床决策，仅提供证据链供专家审查。
推荐理由：这是AI辅助罕见病诊断的严肃实证，4.8%的新诊断率在专家反复分析过的病例里相当扎实。虽然离临床落地还很远，但证明推理模型能帮专家从旧数据里挖出新线索。
LOGOS 由 ATH-Token Foundry 联合中国人民大学高瓴人工智能学院开源，是首个基于统一“科学语法”的多领域科学生成基础模型。LOGOS-1B（1B参数）在六大科学任务上匹配或超越领域专用方法：口袋条件配体生成纯序列范式首次超越3D扩散模型，超越NatureLM（8×7B）；逆合成预测Top-1准确率74.8%；口袋位点识别仅靠序列达58.5% Top-n准确率；MOF材料生成NBB提升至17.78%。模型采用统一词汇表将蛋白质、小分子等编码为离散Token，通过空间交互离散化实现无需3D坐标的序列预测。预训练与下游任务形式与目标一致，跨领域知识迁移经实验验证有效。已完整开源模型权重、推理代码与技术报告。
推荐理由：LOGOS用一套统一科学语法把蛋白质、小分子、材料等塞进同一个LLM框架，纯序列建模就干过了专用扩散模型，参数量却只有NatureLM的1/56，做AI4S的得认真看一眼。