Topic · 主题全部主题 →

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

4,760条收录
532条精选

精选归档 · 第 13 页

241260 条 · 共 532

6月16日6月16日周二

星期二 · 1 条
00:13
The Decoder:AI News(RSS)精选
AI 评分 72/100
Nvidia 加入 AI 债务热潮,发行 200 亿美元债券

Nvidia 计划通过自 2021 年以来的首次债券发行筹集至少 200 亿美元,消息援引知情人士透露。此举标志着 Nvidia 加入 AI 领域的债务融资热潮。


推荐理由:Nvidia发债200亿美元加入AI债务潮,这是自2021年来的首次,显示AI基建的烧钱速度在加速,属于行业层面的重要信号,但对开发者日常无直接影响。

6月15日6月15日周一

星期一 · 2 条
17:41
MarkTechPost(RSS)精选
AI 评分 73/100
Flash-KMeans:IO感知的精确K-Means,在GPU上比FAISS快200倍以上

UC Berkeley与UT Austin团队开源Flash-KMeans(Apache 2.0,pip install flash-kmeans),精确实现标准Lloyd's k-Means,通过重构GPU数据流而非改变数学或近似来提速。在NVIDIA H200上,端到端速度比最佳基线快17.9×,比cuML快33×,比FAISS快200×以上。其FlashAssign核避免物化完整N×K距离矩阵,将IO复杂度从O(NK)降至O(Nd+Kd),单核加速最高21.2×;Sort-Inverse Update核通过排序聚类ID减少原子争用,单核加速最高6.3×。支持out-of-core处理,在1B数据点、K=32768时单次迭代仅41.4s。适用于向量搜索索引、稀疏注意力路由、KV缓存压缩等在线场景。


推荐理由:Flash-KMeans 把 k-means 从离线预处理拉进了在线循环,200 倍加速不是纸面数字,而是让向量索引重建、稀疏注意力路由这些场景突然可行了。做大规模聚类的可以立刻换掉 FAISS。
08:14
OpenAI:官网动态(RSS · 排除企业/客户案例)精选
AI 评分 59/100
OpenAI 推出合作伙伴网络 OpenAI Partner Network

OpenAI 宣布推出 OpenAI Partner Network,并投资 1.5 亿美元支持全球合作伙伴构建、销售和交付 AI 解决方案。该计划设立 Select、Advanced、Elite 三级合作伙伴层级,提供 Codex、网络安全、智能体等专业方向认证,并试点 Forward Deployed Experts 项目以支持复杂企业部署。目标在 2026 年底前培训认证 30 万名顾问。案例显示,Paychex 借助 Bain 和 OpenAI 的方案将等待时间降低 80%,人工审核时间减少 30%。


推荐理由:OpenAI 砸 1.5 亿建合作伙伴网络,企业落地从模型能力转向生态整合,但这事离普通用户比较远,更像是给咨询公司派活。

6月14日6月14日周日

星期日 · 1 条

6月13日6月13日周六

星期六 · 5 条
10:10
OpenRouter:Announcements(RSS)精选
AI 评分 59/100
OpenRouter 可靠性与自动故障转移:请求如何持续成功

OpenRouter 默认启用提供商故障转移(provider failover),模型回退(model fallbacks)则为选择加入。这两层机制分别应对不同类型的故障:提供商故障转移在 API 调用失败时自动切换至其他提供商,模型回退则在指定模型不可用时切换到备选模型。公告详细说明了各层的工作原理以及故障转移的停止条件。


推荐理由:开发 LLM 应用的人可以把这篇当生产可靠性检查清单用,虽然通篇在推自家服务,但两层故障转移的思路确实通用。
10:10
OpenRouter:Announcements(RSS)精选
AI 评分 66/100
OpenRouter 模型路由工作原理

OpenRouter 将每个请求路由到 60 多家提供商,用户可自定义提供商顺序、价格上限和回退链,从而灵活控制路由策略。

另有 1 家信源报道OpenRouter:Announcements(RSS)
推荐理由:如果你在用 OpenRouter,这篇把默认的逆向平方权重、:nitro/:floor 快捷方式和 model fallback 逻辑讲得很清楚,读完就能调整请求策略。
10:10
OpenRouter:Announcements(RSS)精选
AI 评分 74/100
Hermes Agent 在 OpenRouter 上的使用指南:设置、模型与路由

Hermes Agent 已通过 OpenRouter 处理超过 17 万亿 tokens。使用指南包括设置流程、选择支持 64K 上下文窗口的模型,以及调整路由策略以兼顾成本与可靠性。


推荐理由:OpenRouter 这篇教程把 Hermes Agent 的配置、路由和降本技巧都讲透了,刚上手的人照着走就能跑起来,而且给出了廉价辅助模型的省钱套路,实用性强。
05:40
OpenRouter:Announcements(RSS)精选
AI 评分 64/100
如何在OpenRouter上获得最低成本的LLM推理

在OpenRouter上追加:floor可获取最便宜提供商,通过max_price设定花费上限,并可免费使用20多个零成本模型。同时需注意避免计费陷阱。


推荐理由:如果你是 OpenRouter 的开发者,这篇教程把成本控制的开关全摆出来了,从 :floor 到免费模型再到 BYOK 的成本账,看完就能立刻调配置省钱。
01:34
Ars Technica:AI(RSS)精选
AI 评分 72/100
今年价值1300亿美元的数据中心项目因抗议被叫停

截至今年,抗议活动已成功阻止价值约1300亿美元的AI数据中心项目。反对者通过组织行动阻碍了多地的开发计划,称这一胜利让参与者“尝到了政治权力的滋味”。抗议主要针对数据中心带来的能源消耗、水资源占用和环境影响,部分项目已被政府暂停或重新审查。


推荐理由:抗议者让1300亿美元数据中心项目搁浅,这已从地方纠纷演变为全国性政治叙事,AI行业不能再当成个体规划争端,社会反对的剧本正在改写建站地图。

6月12日6月12日周五

星期五 · 5 条
03:39
Tibo@thsottiaux精选
AI 评分 71/100
OpenAI收购Ona,增强Codex云端执行Codex 🤟OnaBeyond excited to work with Johannes and team to build the future.OpenAI宣布已达成协议收购Ona,其安全的云执行技术将帮助Codex处理更长期的任务(即使笔记本电脑关闭也能运行),并让更多组织安全地部署智能体。收购完成后,Ona将加入OpenAI的Codex团队。Tibo对此表示"无比兴奋,期待与Johannes及团队共同构建未来"。

OpenAI Newsroom: We’ve reached an agreement to acquire @ona_hq. Its secure cloud execution technology will help Codex take on longer-runn...

另有 1 家信源报道X:Greg Brockman (@gdb)
推荐理由:OpenAI在填Codex的坑,关掉笔记本还能跑任务这件事比听起来更难,收购Ona是在解决真实工程问题,做产品的人应该留意这个信号。
00:46
OpenRouter@OpenRouter精选
AI 评分 66/100
OpenRouter 推出新活动浏览器Finally a way to see your top humans & top agents at a glance.Includes an API to query all your data over time 📊终于能一目了然地查看你的顶级人类与顶级 AI 智能体了。 附带一个 API,可随时间查询你所有的数据 📊

OpenRouter: Today we're launching the new Activity explorer on OpenRouter. It's the best way to see how much and your team are spend...


推荐理由:如果你团队在用 OpenRouter 接各种模型,这个 Activity Explorer 终于让你能看清每个人和每个 Agent 分别花了多少 token、命中了多少缓存,费用透明了,对工程管理很有用。
00:39
OpenAI:官网动态(RSS · 排除企业/客户案例)精选
AI 评分 61/100
OpenAI 将收购 Ona

OpenAI 计划收购 Ona,以拓展 Codex 的功能,提供安全、持久的云端环境,从而支持企业工作流中长时间运行的 AI 智能体。

另有 1 家信源报道X:小北 (@frxiaobei)
推荐理由:OpenAI收购Ona,给Codex补上持久化云环境,让Agent能长时间自主工作。这是把AI Agent从会话工具变成企业级生产平台的一个基础设施信号。
00:00
OpenRouter:Announcements(RSS)精选
AI 评分 55/100
OpenRouter:企业应转向多模型路由,放弃单一LLM供应商

OpenRouter指出,企业不应只依赖一家LLM供应商,而应采用多模型路由策略以平衡成本与效果。Anthropic Opus 4.7的“tokenizer税”导致输入token增加35%,新模型Fable定价$10/M输入、$50/M输出,OpenAI GPT-5.5 Pro更高达$30/M输入、$180/M输出。用户正主动跨模型族分配任务,平台3月至4月新增90个模型。OpenRouter作为统一市场,通过标准化API消除切换成本,使路由成为“一等公民”。

另有 1 家信源报道OpenRouter:Announcements(RSS)
推荐理由:OpenRouter 放出的多模型使用数据很实在,成本压力正推动企业从专一走向多模型路由,新分析 API 让这个趋势可度量。

6月11日6月11日周四

星期四 · 6 条
17:31
IT之家(RSS)精选
AI 评分 71/100
阿里云发布 Meoo CLI:本地 AI 编程项目可一键部署上线

阿里云今日推出 Meoo(秒悟)开源命令行工具 Meoo CLI,面向开发者,支持 Claude Code、Codex、Cursor 等本地 AI 编程助手。通过调用阿里云云端能力,可自动完成数据库接入、用户登录、文件存储及项目发布,将本地项目一键部署上线并生成可分享的访问链接。该工具定位为本地 Agent 与秒悟云端能力的连接入口,已开放下载,支持主流 Linux、macOS 及 Windows 平台。


推荐理由:本地AI编程工具产出的项目终于有了一条直通云端的管道,Meoo CLI 把数据库、鉴权、部署这些脏活全包了,非前端也可以把原型直接变成产品。
16:50
公众号:腾讯混元精选
AI 评分 78/100
腾讯混元 AI Infra 新开源:HPC-Ops 推理核心算子全面升级

腾讯混元 AI Infra 团队开源升级 HPC-Ops 推理算子库,推出五大核心算子。Attention 采用运行时动态负载调度,长文本最高加速 2.95x,端到端 QPM 提升 17%;Router GEMM 以双 BF16 组合实现 FP32 精度,对比 CuBLAS FP32 最高提速 3.22x;FusedMoE 相对 vLLM、SGLang 性能提升 1.2x~1.6x;Fused AllReduce+Norm 对比主流方案最高提速 1.68x;Sampler 将解码采样融合为 2 个 CUDA Kernel,相对 vLLM 提速 4.0x~7.5x。所有能力均来自生产实践并完全开源。


推荐理由:腾讯混元把推理全链路的瓶颈都加速了一遍,Sampler 算子比 vLLM 快 4-7 倍,Attention 动态调度根治长尾延迟,这套开源算子库可以直接用,做推理部署的可以抄作业。
04:29
OpenRouter:Announcements(RSS)精选
AI 评分 64/100
Gemini 2.5 Flash API - 定价、快速入门与提供商比较

Gemini 2.5 Flash API 支持配置思考预算(thinking budgets),用户可跨提供商进行比较,并在5分钟内完成首次API调用。

另有 1 家信源报道OpenRouter:Announcements(RSS)
推荐理由:这是 OpenRouter 上接入 Gemini 2.5 Flash 的保姆级指南,把三家 Google 提供商的延迟和定价差异摆在明面上,需要做模型选型和成本估算的开发者可以直接抄里面的 quickstart 代码。
02:40
xAI:News(网页)精选
AI 评分 69/100
eToro AI 智能体 Tori 集成 SpaceXAI 文本模型实现实时市场情绪分析

6 月 10 日,eToro 宣布其 AI 智能体 Tori 集成来自 SpaceXAI 的文本模型,能够从 X 平台实时读取市场情绪变化、追踪信号并分析信息。Tori 现已在 eToro 的投资流程中嵌入该能力,支持用户以自然语言查询和解读市场情绪。eToro 拥有超过 4000 万注册用户,覆盖 75 个国家。该功能基于 SpaceXAI API 构建,其他开发团队也可通过 API 控制台在数分钟内搭建类似应用,如研究助手或情绪看板。


推荐理由:xAI 的实时 X 数据能力正式嵌入 eToro 投资助手 Tori,4000 万散户第一次能用上基于社交情绪的智能分析,虽然只是一个 API 集成案例,但把‘市场脉搏’塞进 AI 助手的方向对了。
02:10
Claude:Blog(网页)精选
AI 评分 75/100
智能体表面的演进:使用 Claude Managed Agents 构建

Anthropic 推出 Claude Managed Agents,一套可组合 API 套件,用于构建和部署生产级智能体。该产品从早期简单 API 演进至 Claude Agent SDK,再到将智能体调度层与代码执行沙箱解耦的 Managed Agents。通过只追加日志的会话机制,Managed Agents 解决了托管伸缩、会话持久化、文件系统管理、执行隔离、凭证安全与可观测性等生产部署挑战。团队借助该方案可在数天内完成从原型到生产环境的转化,无需自建基础设施。


推荐理由:Claude Managed Agents 把代理部署的复杂基础设施打包成了 API,让团队从原型到上线只需几天而不是几个月,尤其凭证隔离和延迟优化对生产环境很关键,想部署可靠代理的团队可以认真看看。