跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

667 条精选近 30 天 66 条共收录 4,398 条

更新

精选归档 · 第 20 页

6月4日周四第 381–400 条
  1. xAI69

    在 @Cloudflare 的 AI Gateway 上尝试 Grok 模型!

    引用Cloudflare Developers@CloudflareDev

    我们正与 @xai 合作,将 Grok 引入 @Cloudflare AI Gateway。 • Grok LLM、音频、图像和视频模型现已通过 AI Gateway 提供 • 直接通过 Cloudflare 计费 • 无需额外的认证、环境变量、API 密钥 𝚎𝚗𝚟.𝙰𝙸.𝚛𝚞𝚗("𝚡𝚊𝚒/𝚐𝚛𝚘𝚔-𝚒𝚖𝚊𝚐𝚒𝚗𝚎-𝚟𝚒𝚍𝚎𝚘-𝟷.𝟻-𝚙𝚛𝚎𝚟𝚒𝚎𝚠")

    推荐理由:xAI把Grok全模态模型塞进了Cloudflare AI Gateway,开发者不用再单独搞定API Key和计费,想试grok-imagine-video的可以直接开跑。

6月3日周三
  1. Anthropic:Newsroom59

    介绍 Claude Partner Network 的 Services Track 和 Partner Hub

    Anthropic 扩展 Claude Partner Network,推出 Services Track 分级体系和 Partner Hub 门户。Services Track 设 Select、Preferred、Global Premier 三级,按认证人数、投产客户数及客户推荐信量化评定。Partner Hub 提供每日更新仪表盘和公开目录,方便合作伙伴查看进展、客户寻找供应商。该网络三月启动以来已有超 4 万家公司申请,逾 1 万顾问获认证;Accenture 训练 3 万人,Cognizant 部署约 35 万员工,Deloitte 惠及 47 万人,KPMG 覆盖 27.6 万,Infosys 构建行业智能体,PwC 先在美推广再扩至全球。

    推荐理由:Anthropic 给合作伙伴画了一条明确的爬升阶梯,从 Select 到 Global Premier,企业客户终于有个公开透明的渠道找靠谱的实施团队,做 AI 咨询的可以认真评估入局了。

  2. 公众号:数字生命卡兹克66

    Claude Code团队工程总监分享5条AI原生工作原则

    Claude Code团队工程总监Fiona Fung提出,AI时代软件工程瓶颈从“写代码太贵”转移至验证、评审与安全。团队采用JIT规划,先做原型再补文档;遇到重复工作追问“能否自动化”,形成肌肉记忆。代码评审中Claude承担60-70%风格检查与漏洞捕捉,人类聚焦法律、安全与产品判断。角色边界模糊,PM写代码、工程师用Claude起草文案,招聘看重品味与判断力而非代码产出速度。

    推荐理由:瓶颈从写代码转移到验证,这判断太准了。更实际的是自动化那些重复三次以上的事,这套逻辑正在Claude Code团队验证,值得每个带团队的人照抄。

  3. vLLM 官方博客61

    vLLM 与 DeepLearning.AI 推出免费课程《Fast & Efficient LLM Inference with vLLM》

    vLLM 与 Red Hat、Andrew Ng 的 DeepLearning.AI 联合推出免费课程《Fast & Efficient LLM Inference with vLLM》,约 1.5 小时,含 9 节视频和 3 个 JupyterLab 动手实验。

    推荐理由:课程覆盖压缩、部署、基准测试全流程,用可视化讲清 KV cache 和量化原理,并配三个可动手的实验。

  4. Microsoft:Official Blog66

    微软:企业成功的关键在于围绕AI构建集成智能体平台

    微软认为,企业成功的关键在于围绕AI构建一个集成的智能体平台,而非仅拥有强大模型。该平台需遵循三大原则:单一集成系统、安全与治理内建、持续改进。微软正构建一个支持多种模型、以开发者为中心的开放平台,让智能体在软件交付、支持、财务等职能中执行长期工作。

    推荐理由:微软把agent平台从散装工具升级成统一系统,这个「企业AI操作系统」的思路让治理和持续进化成为内置能力,而不只是模型和算力。

  5. Claude:Blog74

    Claude Code团队实践:智能体编程如何重塑工程组织与流程

    在Code w/ Claude SF 2026活动上,Claude Code工程团队分享了将智能体编程设为默认工作方式后带来的流程与结构变革。核心变化包括:规划转向即时(JIT)模式,强调快速原型与反馈;上下文收集变为“先问Claude”;代码审查中Claude处理风格与测试,人工专注于法律、安全等专业判断。新范式下,工程瓶颈从编写代码转向验证、审查与安全维护。

    推荐理由:Anthropic 工程总监把 Claude Code 团队流程全晒了出来,从抛弃半年路线图到代码审查只留专家复审,每一步都反直觉但实战有效,工程领导者直接抄作业。

  6. OpenAI70

    构建应用从未如此简单。 通过 Sites,Codex 可以将你的工作、想法和计划转化为一个交互式网站或应用,你的团队可以通过一个 URL 进行探索、使用和分享。 该功能将首先向 Business 和 Enterprise 计划推出,之后会更广泛地扩展。

    推荐理由:Codex Sites 让应用构建门槛降到「描述即生成」,对企业团队快速验证想法是实打实的效率提升,但只开放 Business/Enterprise 意味着个人开发者还得等等。

  7. OpenRouter68

    ⚡ 新增服务商:DigitalOcean 的 AI-Native Cloud 现已在 OpenRouter 上线。 提供高性能推理,覆盖热门开源权重模型。在 DeepSeek V3.2 的输出速度和延迟方面排名第一(数据来自 @ArtificialAnlys)。 查看其数据并试用模型:https://openrouter.ai/provider/digitalocean

    推荐理由:OpenRouter 新上线的 DigitalOcean 推理服务,把 DeepSeek V3.2 的延迟压到了全场最低,比官方还快,做实时应用的值得立刻切过去试一下。

  8. OpenAI:官网动态70

    Codex 赋能每一种角色、工具和工作流

    OpenAI 的 Codex 新增了插件、站点和注释等功能。这些新功能旨在帮助分析师、营销人员、设计师、投资者等各类团队,利用 AI 完成更多工作。Codex 进一步拓展其作为 AI 编码工具的应用场景,以支持更广泛的角色、集成更多工具并优化现有工作流。

    推荐理由:Codex不再只是开发者工具,六个角色插件和Sites功能把AI带进了营销、销售、投资等日常流,非技术团队可以直接上手,这是大企业AI落地的实用一步。

6月2日周二
  1. OpenRouter:Announcements77

    OpenRouter 5月发布亮点

    OpenRouter 发布5月更新,推出语音与转录API、模型融合(Model Fusion)功能,并为平台添加了私有模型和企业工作区管控能力。此次更新共上线20个新模型,其中包括 Gemini 3.5 Flash 和 Claude Opus 4.8。

    推荐理由:OpenRouter 五月交付了一整套平台级能力,从安全护栏到语音 API 再到模型融合,Pareto Code Router 按质量阈值选廉价模型这个思路,对 coding agent 的成本控制很实用。如果你重度依赖 OpenRouter,这次更新值得细读。

  2. Greg Brockman67

    OpenAI的GPT-5.5、GPT-5.4及Codex编程智能体现已在Amazon Bedrock平台正式上线。开发者可通过Bedrock的下一代推理引擎部署这些模型,享受自动扩展能力。具体应用包括使用GPT-5.5和GPT-5.4构建能处理多步骤编码、数据分析和知识工作的自主AI智能体,或将Codex编程智能体集成至开发工作流,并通过Bedrock进行所有模型调用。该服务按token计费,支持弹性扩展。

    引用Amazon Web Services@awscloud

    现已正式可用,@OpenAI GPT-5.5、GPT-5.4 和 Codex 上线 Amazon Bedrock。 通过 Bedrock 的下一代推理引擎,以自动扩缩容部署前沿 AI 模型。 借助 Bedrock 上的这些产品,客户可以: ◽ 使用 GPT-5.5 和 GPT-5.4 构建自主智能体,处理多步骤编码、数据分析和知识工作 ◽ 将 OpenAI 编码智能体 Codex 引入你的开发工作流,并通过 Bedrock 路由所有模型调用。按 token 付费,随用随扩。

    推荐理由:OpenAI 把 GPT-5.5 和 Codex 塞进 AWS Bedrock,企业用户现在能用按 token 计费的方式直接部署前沿模型,省去自建推理服务的成本,是 OpenAI 企业化的关键一步。

  3. Together AI 研究与产品博客61

    Together AI 解析如何高效服务 MiniMax M3:1M token 上下文与多模态推理优化

    Together AI 作为 MiniMax M3 的首选云合作伙伴,介绍了为该模型提供生产级推理服务的工程方案。M3 采用 MiniMax Sparse Attention 块稀疏注意力,使 prefilling 提速超 9x、decoding 提速超 15x,支持 1M token 上下文与原生多模态。

    推荐理由:原文由服务方工程团队拆解 MSA 的内核优化与多模态网关预处理方案,给出可参考的长上下文推理工程路径和实测吞吐提升数字。

  4. OpenAI:官网动态66

    OpenAI前沿模型与Codex现可在AWS上使用

    OpenAI的前沿模型与Codex现已在AWS上全面可用。企业客户可通过其现有的AWS环境、控制与采购流程来使用OpenAI的AI技术,从而加速从评估到生产部署的过程。

    推荐理由:这不是模型发布,而是渠道开闸,企业拿着现有 AWS 安全体系就能用上 GPT-5.5,合规部门终于不用再纠结。Codex 也直接嵌入开发流程,落地阻力小了一大截。

  5. OpenAI:官网动态65

    OpenAI在密歇根州启动Stargate 1GW数据中心建设

    OpenAI在密歇根州启动了名为Stargate的1GW数据中心项目。作为AI基础设施建设的一部分,该项目旨在扩大人工智能技术的可及性、为当地创造就业机会并支持社区发展。

    推荐理由:Stargate 的首个 GW 级数据中心真的动工了,算力基建从 PPT 变成推土机,对这个行业的长期供给比任何单点模型都有分量。密歇根州的学生还能拿到 Codex 额度,算是一点落地的小甜头。