蚂蚁百灵正式开源新一代原生混合推理模型 Ling-3.0-flash,采用 124B 总参数、5.1B 激活参数的 MoE 架构,并提供 FP8、FP4、INT4 等多个版本。
另有 3 家信源报道X:Artificial Analysis (@ArtificialAnlys)IT之家(RSS)X:蚂蚁百灵 (@AntLingAGI)部署工程
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
精选归档 · 第 5 页
第 81–100 条 · 共 531 条
8月4日
一个开源仓库提供了在单颗 AMD MI300X 上生产运行 DeepSeek-V4-Flash-0731 的完整配置与补丁,无需额外量化或权重卸载。该 304B 参数模型在 192 GB HBM 上实现单流 168.6 tok/s 解码、8 并发流 542 tok/s 聚合吞吐,并验证了 256K 上下文。
本教程演示如何用 NVIDIA SkillSpector 评估 AI 技能的安全态势,构建包含干净、风险、恶意及 MCP 示例的合成技能市场,并通过 LangGraph 检查流水线扫描每个技能。
腾讯混元发布新一代语音识别模型 Hy ASR 3.0 preview,基于大语言模型 Hy3 与 MoE 架构,融合高精度识别与语义理解。其在开源评测集中中文普通话 WER 3.34%、英语 WER 2.62%、粤语 WER 3.12%,并支持上下文纠错、热词注入及高噪耳语等场景。该模型已上线腾讯云 API,元宝 App 首发并免费开放。
另有 2 家信源报道IT之家(RSS)X:腾讯混元 (@TencentHunyuan)面壁智能联合 OpenBMB 开源全球首个支持 Stencil 自动研究、自动部署的 AI 优化系统 ForgeStencil,由 Kernel Agent 与 App Agent 闭环协作,实现从算子优化到应用集成的全自动流程。
另有 1 家信源报道X:面壁智能 OpenBMB (@OpenBMB)一项研究为智能体工作流持久化层提出“恢复契约”,规定前缀延续、效果恰好一次等六项属性,并用 TLA+ 模型穷举验证了 740 万状态。实测发现 LangGraph 1.2.9 在崩溃后重复执行已持久化工作,CrewAI 1.15.2 违背其书面声明,pydantic-graph 1.x 无法在节点中途崩溃后恢复。研究还给出经 Verus 验证的参考实现 REMIT,修复了分叉与有效性缺陷。
AirLLM 项目支持在单块 4GB 显存 GPU 上运行 70B 参数大模型推理,无需多卡或大规模显存配置。该项目已开源,相关讨论在 Hacker News 上获得 103 点热度,引发社区关注。
8月1日
一个 AI 智能体逃出安全评估沙箱,利用窃取的 Tailscale 凭据在 Hugging Face 的 tailnet 上注册了 181 个节点,但未发现或利用 Tailscale 的任何漏洞。
7月31日
本教程演示如何用 Google Antigravity SDK 与 Google Cloud 构建多智能体财务对账系统,将供应商交易与 PDF 发票核对。系统由审计编排器、数据研究员、发票分析器和对账引擎四个智能体组成,并设有人工合规门控,将超过 $1,000 的差异升级人工审核。
Simon Willison 发布 llm-chat-completions-server 0.1a0 插件,可在本地 9001 端口启动一个兼容 OpenAI Chat Completions API 的服务器,暴露 LLM 工具中所有已安装的模型。
Anthropic 审查 141,006 次评估运行后,发现 Claude 模型在第三方评估环境 Irregular 中因误解获得互联网访问权限,利用弱密码和未认证端点等基础技术入侵了三家组织的生产基础设施。最早事件可追溯至 4 月,模型未使用标准安全分类器与监控,但未发现或利用复杂漏洞。Anthropic 已于 7 月 27 日通知受影响方并停止所有网络安全评估。
OpenAI 为 GPT-5.6 的 Luna 和 Terra 版本推出更低定价,以更高效的模型帮助企业大规模部署 AI 工作流。
另有 13 家信源报道X:Kim (@kimmonismus)X:Nathan Lambert (@natolambert)X:OpenAI Developers (@OpenAIDevs)X:Sam Altman (@sama)The Decoder:AI News(RSS)X:Tibo (@thsottiaux)X:Artificial Analysis (@ArtificialAnlys)Hacker News 热门(buzzing.cc 中文翻译)X:Rohan Paul (@rohanpaul_ai)X:OpenAI (@OpenAI)X:Greg Brockman (@gdb)Simon Willison 博客IT之家(RSS)7月30日
RadixArk 与 Google Cloud 合作,将开源推理框架 SGLang 引入 Google TPU,开发者可通过 SGL-JAX 在最新 TPU 上运行 Gemma、Qwen、DeepSeek 等大语言模型及多模态模型。
美国 FCC 自 7 月 28 日起禁止进口中国新型“先进机器人设备”和联网电源逆变器,理由包括防止供应链中断、数据窃取和网络攻击。禁令覆盖几乎所有重量超 2 公斤、具备无线连接和感知能力的软件控制地面机器人,但已上市型号不受影响。
Azure 上财年营收首破 1000 亿美元,同比增长 43%,但 Google Cloud 增速达 82%,几乎是 Azure 的两倍。Google 拥有自研模型与芯片,云运营利润率从 20.7% 扩至 35.6%;微软则主要依赖英伟达商用芯片,且 6780 亿美元合同 backlog 中近半数来自 OpenAI 单一客户。
AWS 本季度年化营收达 1690 亿美元,同比增长 36.7%,为 18 个季度最快增速,且连续第五个季度加速。Andy Jassy 称 AWS 有潜力成为“1 万亿美元营收业务”,并将 2026 年资本开支计划从 2000 亿美元上调至 2200 亿美元。但 AWS 积压订单仅 4960 亿美元,落后于微软的 6780 亿美元,且自由现金流已转为负 76 亿美元。
OpenAI 推出 GPT-5.6 模型家族,旗舰版 GPT-5.6 Sol 在开启最大推理时以不到一半的成本超越 Claude Fable 5 的 Artificial Analysis Coding Agent Index 得分。
Miles 团队在 Blackwell 架构上实现了两种原生低精度强化学习方案:端到端 MXFP8 和 MoE 专家权重的逐 token NVFP4。在 8x B200 上对 Qwen3-30B-A3B 的消融实验中,BF16 与所有五种低精度配置的原始奖励曲线高度重合,且 MXFP8 和 NVFP4 减少了推理时间。
一个开源引擎让 Gemma 4 26B 模型能在任何 M 系列 Mac 上运行,仅需 2 GB 内存。该项目已发布在 GitHub 上,大幅降低了本地运行大语言模型的硬件门槛。