数据与训练

本文面向使用开源框架的机器学习工程师，阐述了AWS如何为大规模基础模型的全生命周期提供核心基础设施。其核心是三大紧密集成的组件：配备多代NVIDIA GPU（如H100、H200及新一代Blackwell B200/B300）的大显存加速计算实例；用于集体通信的高带宽、低延迟网络（节点内NVLink与节点间EFA）；以及可扩展的分布式存储。这些基础设施与Slurm/Kubernetes等资源编排系统、PyTorch/JAX等ML框架协同，共同支撑预训练、后训练和推理工作负载，并可通过Prometheus/Grafana实现全栈可观测性。

研究团队发布IndustryBench，这是一个基于中国国家标准（GB/T）和工业产品记录构建的2049项中文工业采购问答基准，并提供了多语言对齐版本。构建中，基于外部搜索的验证环节拒绝了70.3%的大语言模型生成问题，凸显了仅靠模型过滤的不可靠性。对多语言模型的评估发现：最佳系统得分（0-3分制）仅为2.083分，提升空间巨大；“标准与术语”是普遍能力短板；扩展推理会因引入无依据的安全关键细节而降低多数模型的安全调整分数；安全违规检查会显著改变模型排名。研究表明，工业领域的大语言模型评估需基于源文本、具备安全意识，而非依赖简单的聚合准确率。

Velox提出一个学习4D对象潜在表示的框架，该表示具备描述性、压缩性与易获取性。它仅需非结构化动态点云作为输入，通过编码器将时空彩色点云压缩为动态形状标记，并利用两个互补解码器进行监督：4D表面解码器建模随时间变化的表面分布以捕捉几何信息，高斯解码器则负责外观重建。该方法在保持高保真度的同时提升了下游任务的效率。

EMO是一种新型专家混合模型，通过端到端预训练使模块化结构直接从数据中涌现，无需依赖人类定义的先验。该模型允许在特定任务中仅使用12.5%的专家子集（即8个活跃专家中的部分），同时保持接近全模型的性能；当所有128个专家共同使用时，它仍作为强大的通用模型。EMO具有1B活跃参数和14B总参数，训练数据达1万亿令牌。与标准MoE相比，EMO通过文档级路由约束，鼓励专家形成领域专业化组，从而支持选择性使用而不导致严重性能下降，实现了可组合架构，优化了大型稀疏MoE的内存-准确性权衡。

该项目使用AMD Instinct MI300X（192 GB HBM3显存）和ROCm，通过LoRA微调Qwen3-1.7B模型实现医学问答。训练仅用2000条MedMCQA样本，约5分钟完成，仅更新约220万参数（占模型总参数的0.1443%），全程采用fp16精度，无需量化。HuggingFace生态（Transformers、PEFT、TRL、Accelerate）在ROCm上无缝运行，无需修改代码即可直接替代CUDA。模型已上传至HuggingFace Hub并提供在线Demo。

研究人员提出文本条件联合嵌入预测架构（TC-JEPA），通过引入图像描述文本作为条件信息来降低掩码特征预测中的视觉不确定性。该方法采用细粒度文本调节器，对输入文本标记计算稀疏交叉注意力，从而调制预测的图像补丁特征。与基于掩码特征预测的I-JEPA相比，TC-JEPA能够学习到语义更丰富的视觉表征，解决了原有方法因视觉不确定性导致的语义学习不足问题。

研究发现，强化学习改进大语言模型推理时，并非教授新策略，而是对基础模型已掌握的解决方案进行概率重分配。其有效影响仅集中在1–3%的高熵决策token上，且所提升的token始终位于基础模型前5个备选之中。基于此，研究者提出无需强化学习的ReasonMaxxer方法，仅在熵选通的决策点施加对比损失，仅需数百次基础模型推演且无需在线生成。在多个模型和数学推理基准测试中，该方法达到或超越了完整强化学习的性能，而训练仅需数十道题目、数分钟的单GPU时间，成本降低约三个数量级。

迪士尼内部上线AI使用看板，追踪员工调用Claude的频率和token消耗。数据显示，一名员工在9个工作日内调用Claude约46万次，平均每1.7秒一次。与此同时，迪士尼正裁员约1000人。硅谷正流行“tokenmaxxing”文化，比拼AI token消耗量。Meta内部统计显示，其8.5万名员工在30天内消耗了60万亿token，价值约900亿美元；Uber的年度34亿美元AI预算在4个月内耗尽。报告显示，Claude用户中非程序员用途已超半数。

近期多项进展展现了AI的巨大积极影响。医疗领域，Mayo Clinic的AI能通过常规CT提前最多三年检测胰腺癌，强生利用AI将新药线索生成时间减半。教育方面，哈佛研究显示AI导师使学生学习效果翻倍，泰国培训16万名教师惠及330万学生。农业上，AI能以约88%准确率预测害虫爆发。科研中，AI快速筛查NASA数据，新发现超一万颗系外行星候选。此外，香港推出AI洪水预报系统，Atlassian和Twilio等公司也因AI驱动业绩增长并上调预期。这些案例平衡了AI风险，凸显其创新潜力。

研究揭示了GPT-5等AI模型中“妖精”输出的传播路径、时间线与根本原因。这些由特定“人格”驱动的怪异行为，源于训练数据中意外混入的特定模式或“文化基因”。开发团队已识别出问题根源，并正在部署修复方案，通过调整训练数据和微调模型来消除此类非预期的个性特征，以提升模型行为的稳定性和可预测性。

文章揭示了支撑大语言模型（如GPT、Claude、LLaMA）训练与服务的核心数学框架。通过剖析关键方程，可以逆向推导出顶尖AI实验室在模型规模扩展、计算资源分配及服务优化方面的核心策略与实践。这些数学原理不仅解释了模型性能随参数和数据量增长的规律，也量化了训练成本与推理效率之间的权衡，为理解当前大语言模型的发展路径提供了底层逻辑。

FlashQLA 发布了一组专为梯度下降网络优化的融合线性注意力内核。新内核在设计上对计算模式和后向传播更加友好，旨在提升训练效率。该技术通过优化内核融合策略，改进了注意力机制的计算性能，是提升大规模模型训练速度的关键底层优化。

研究团队提出LaDiR推理框架，将连续潜在表征的表达能力与潜在扩散模型的迭代优化能力相结合，以增强现有大语言模型的推理性能。该框架首先构建一个结构化的潜在推理空间，通过扩散过程对潜在状态进行迭代细化，使模型能够全局性地重新审视和修正推理路径中的早期内容。这种方法突破了传统自回归解码在整体优化和多样化解决方案探索方面的限制，提升了链式思维生成的质量与效率。

SWE-chat是首个从开源开发者真实工作环境中收集的大规模代码智能体交互数据集，目前已包含6000个会话、超过6.3万条用户提示和35.5万次智能体工具调用。研究发现代码编写模式呈现双峰分布：41%的会话中智能体几乎编写了所有提交代码，而23%的会话完全由人工编写。尽管能力快速提升，代码智能体在自然场景中效率仍不理想，仅44%的智能体生成代码最终被用户采纳，且其代码比人工代码引入更多安全漏洞。用户在44%的交互轮次中会对智能体输出进行修正、报告失败或中断操作。该数据集通过完整记录人机代码归属的交互轨迹，为超越人工基准测试、基于实证理解AI智能体在真实开发流程中的表现提供了基础。

morgin.ai 最新分析指出，当前市场上标榜"未受审查"的大语言模型仍存在显著的内容限制，无法真正做到随心所欲地发言。研究揭示了这些模型在面对特定敏感话题时的隐性自我审查机制，表明"无审查"标签与实际情况存在明显差距。该文章在 Hacker News 获得 102 点热度，引发行业对 AI 内容安全边界与言论自由标准的讨论。