技术方向
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
634 条精选近 30 天 57 条共收录 4,181 条
国家人工智能应用中试基地（具身智能）5月16日在浙江杭州挂牌启用，为机器人提供国家级职业技能训练场。该基地是集场景体验、技术展示、研发合作、产业赋能于一体的综合性平台，旨在推动具身智能技术从实验室迈向现实应用。杭州市于5月1日施行首部具身智能机器人地方性法规，支持核心研发、平台建设和场景开放。目前杭州已集聚机器人产业相关企业700余家，2025年具身智能产业集群产值达1068亿元。
推荐理由：杭州这个国家级具身智能训练场不是「又一个基地」，它是把散点技术拢成产业链标准化的关键一步，做机器人的可以盯着政策红利和开放场景了。
2026年报告显示，法律团队生成式AI使用率已从44%跃升至87%。为应对日益复杂的工作，法律行业正将Claude应用于合同审阅、并购尽调及诉讼准备等核心流程，并通过多款产品组合提升效率：Chat用于即时研究，Claude Cowork处理跨文件协作，Microsoft 365插件集成办公套件，Platform支持定制应用开发。Anthropic同步发布法律行业部署指南，涵盖产品矩阵、12个预设业务领域插件及三阶段实施路线图，并解答数据托管与权限保护等关键问题。
推荐理由：Anthropic法律团队亲自下场写路线图，从合同红笔到隐私评估，把Claude全家桶怎么用、什么时候用讲透了，律所和法务部可以直接照着推。
OpenRouter@OpenRouter精选AI 评分7474OpenRouter BYOK 三项重大升级 🔑 1/ 可在同一工作空间为同一服务商添加多个密钥，并设置调用顺序。 便于在速率限制间轮换、区分开发与生产凭证，或在团队账户间分配使用量！
推荐理由：OpenRouter这次BYOK升级很实在，多了多密钥管理和顺序设置，做API分发的团队终于能告别手工切换凭证的痛了。
普华永道与Anthropic宣布扩大战略联盟，将在全球数十万员工中部署Claude AI工具。双方将联合建立卓越中心，并培训认证3万名专业人员。合作聚焦三大高杠杆领域：智能体技术构建、AI原生交易执行以及企业职能重塑。普华永道已率先成立基于Claude的财务业务组。实际应用显示，Claude在保险承保、网络安全等多个领域能将交付时间缩短最高达70%，例如将保险承保周期从十周压缩至十天。
推荐理由：PwC要把Claude推到数十万员工手里，从保险核保到网络安全都在跑生产，企业级AI落地的硬骨头这次真被啃动了，金融医疗的合规高墙破了个大洞。
PromptArmor 发布 Microsoft Copilot Cowork 安全从业者指南，指出该云端智能体的主要风险是间接提示词注入，且开箱即继承用户的 Microsoft Graph 权限，陈旧的 Teams 成员关系和过度共享的 SharePoint 站点都会成为攻击面。
推荐理由：作者以一线安全视角拆解 Copilot Cowork 的注入风险面，并给出可操作的租户配置建议，便于按风险档位落地部署。
使用顶尖AI模型处理邮件的月度成本约为22至130美元，中位数26美元。若软件公司以75%毛利率定价，年费可能高达350美元，加上托管服务后标价或达500美元，约为Google企业邮箱费用的两倍。采用小型模型可降低成本10至20倍，而通过本地运行利用用户GPU，更能将成本削减至接近零。结合基础启发式方法和技术优化，总成本有望降低100倍。这种针对不同工作负载匹配模型并进行成本分层的推理市场细分，将是未来一两年AI软件发展的关键。
推荐理由：Tunguz 给 AI 邮件算了一笔账，SOTA 模型月费 22-130 美元，但他更重要的判断是推理分割可以把成本压到百分之一，这对做 AI 软件的定价逻辑是个关键风向。
Claude Code已成功部署于数百万行的单体仓库、遗留系统及分布式架构中。其核心在于围绕模型构建的“工具套件”，而非仅依赖模型本身。该套件包含五个关键扩展点：提供代码库概览的CLAUDE.md文件、实现持续改进的钩子、按需加载专业知识的技能、插件以及MCP服务器。它采用智能体搜索模式，直接在开发者本地实时代码库上操作，无需构建和维护集中式索引，从而避免了传统RAG系统在活跃大型代码库中索引过时的问题。团队对代码库设置的投入程度直接决定了其导航效果。
推荐理由：这是 Anthropic 官方出的 Claude Code 大型代码库配置指南，把 CLAUDE.md、hooks、skills 的层级和分工讲得比社区经验更系统，做工程落地的团队可以当作部署手册。
Google开源框架Genkit近日推出其核心中间件系统，旨在提升智能体AI应用的可靠性与可控性。该系统允许开发者在生成调用、模型及工具层进行拦截，以注入自定义行为，如重试机制、模型回退以及人工介入的工具审批流程。通过创建并堆叠自定义中间件，开发者能够实现对模型输出的确定性控制。所有中间件的执行流程均可通过专用的开发者界面进行实时查看与调试，有效支持使用TypeScript、Go、Dart和Python构建生产就绪的智能体应用。
推荐理由：Genkit 的中间件系统把 agent 行为变成可编程的拦截点，重试、fallback、人机审批都能挂上，对用 Genkit 上生产的团队来说，是个能让应用更「硬」的更新。
Arm第二代可扩展矩阵扩展（SME2）与Google AI Edge软件栈集成，将CPU转变为强大的矩阵计算加速器，从而实现高性能的设备端生成式AI。本文以Stability AI的“stable-audio-open-small”模型为例，阐述了利用LiteRT、XNNPACK和KleidiAI构建的“转换、优化、部署”自动化硬件加速流程。该方案在基于Arm架构的移动设备和笔记本电脑上，成功实现了音频生成速度提升2倍以上、内存使用减少4倍的显著效果，同时确保了高音频质量。这一集成方案为在资源受限的边缘设备上高效运行复杂AI模型提供了有效路径。
推荐理由：Google 和 Arm 在设备端 AI 上的联合优化案例很具体，给了开发者一套可复制的流程，2x 加速和 4x 内存节省对于做移动端生成式 AI 的人来说值得动手试一下。
在连续批处理中，同步方式导致CPU与GPU交替工作，造成闲置浪费。测试显示，使用8B模型生成8K令牌时，GPU有24%的时间处于空闲状态。异步批处理通过分离工作负载，让CPU准备下一批次（N+1）的同时，GPU计算当前批次（N），从而消除闲置间隙。这可通过CUDA流实现操作并发，无需更改内核或模型，仅需协调硬件执行顺序。理论上，该方法可将总生成时间从300.6秒减少至228秒，实现24%的免费加速。相关技术已集成到transformers库的连续批处理中，显著提升推理性能。
推荐理由：文章手把手拆解了异步批处理如何用CUDA流和事件消除CPU与GPU的互相等待，把推理吞吐提升22%，搞推理优化的工程师值得细读。
Cursor发布新工具，用于配置云端智能体开发环境。核心更新包括：支持多仓库环境，使智能体可跨代码库协同工作；提供基于Dockerfile的代码化配置，支持构建密钥并优化缓存，命中缓存后构建速度提升70%；增强由智能体主导的环境设置流程，提供验证与故障回退机制。同时新增环境治理与安全功能，如版本历史、审计日志，以及可在环境级别独立管控的网络出口和密钥权限。这些改进旨在帮助团队在受控环境中更高效地运行能端到端处理任务的并行智能体集群。
推荐理由：Cursor 云代理这次把多仓库、环境即代码和审计控制打包补齐，让开发团队可以真正放养一队 agent 跑端到端任务，企业落地门槛降了一大截。
Claude 最新模型在电脑与浏览器使用能力上显著提升，支持构建复杂智能体系统。本文针对Claude 4.6系列和Opus 4.7提供实践指南，重点优化截图分辨率：Claude 4.6系列API限制最大长边1568像素、总像素115万；Opus 4.7提升至最大长边2576像素、总像素375万。发送前将截图缩放到限制内是提升点击准确性的最有效方法。推荐起始分辨率为1280x720，Opus 4.7用户可优先使用1080p，并避免发送未经缩放的原始截图或过低分辨率图像。
推荐理由：如果你正在让 Claude 操作桌面或浏览器，这篇官方指南把分辨率、token 压缩和缓存策略一次讲透了，附带代码和踩坑表，是那种"读完就能少写一堆 bug"的硬核文档。
Anthropic推出“Claude for Small Business”服务包，旨在帮助小型企业弥补在AI应用资源上与大型公司的差距。该产品包含一系列连接器和15个开箱即用的自动化工作流，能将Claude深度集成到QuickBooks、PayPal、HubSpot等企业日常工具中。其核心功能是自动化处理财务、运营、销售等领域的重复性任务，如规划薪资、月末结算、追踪发票和分析营销活动等。用户通过Claude Cowork界面操作并手动批准关键步骤，所有任务均由用户发起和控制，Anthropic承诺保障数据安全。
推荐理由：Anthropic 把 Claude 装进 QuickBooks、PayPal、HubSpot，直接帮小老板跑 payroll、关账、催发票，这是 AI 第一次真正为那些「深夜还在忙杂务」的人减负，小企业主和做 SaaS 的朋友值得细看。
Satya Nadella@satyanadella精选AI 评分6868推荐理由：微软把多模型代理系统用到安全漏洞挖掘上，100多个专业代理协作，在CyberGym基准拿了第一，做安全的朋友值得看看实际效果。
本次更新包含多项错误修复与体验优化。核心改进包括：增强了Agent工具的`subagent_type`匹配逻辑，现对大小写和分隔符不敏感；修复了`/goal`命令在特定钩子设置下无响应的问题，现会显示明确提示；解决了Windows系统上因缺失可执行文件导致的周期性事件循环停滞。此外，还修正了后台服务启动、远程设置认证重试、托管市场更新策略持久化、`/loop`命令调度冗余以及`Read`工具参数验证等多个问题。插件系统现会对因配置冲突而被静默忽略的默认组件文件夹发出警告。
推荐理由：Claude Code 这次修了一批烦人小 bug，尤其是 /goal 不再装死、/loop 不再空转，用着难受的开发者可以立刻更新试试。
本文探讨了如何从无状态聊天机器人升级为生产级AI智能体，以管理长达数天或数周的企业工作流程（如HR入职）。通过引入Agent Development Kit（ADK），其架构核心采用持久状态机和持久化会话存储，确保智能体在“空闲时间”或服务器重启时永不丢失上下文。系统利用事件驱动的Webhook和多智能体委托机制，实现在暂停期间“休眠”，并在唤醒后以高推理准确性恢复复杂任务，从而构建出具备韧性和可靠性的长时运行智能体系统。
推荐理由：Google 官方手把手教你把无状态 chatbot 升级成能跨天跨周的持久化 agent，状态机和持久会话是两个关键切入点，做过生产环境 agent 的都懂这东西有多刚需。
本文面向使用开源框架的机器学习工程师，阐述了AWS如何为大规模基础模型的全生命周期提供核心基础设施。其核心是三大紧密集成的组件：配备多代NVIDIA GPU（如H100、H200及新一代Blackwell B200/B300）的大显存加速计算实例；用于集体通信的高带宽、低延迟网络（节点内NVLink与节点间EFA）；以及可扩展的分布式存储。这些基础设施与Slurm/Kubernetes等资源编排系统、PyTorch/JAX等ML框架协同，共同支撑预训练、后训练和推理工作负载，并可通过Prometheus/Grafana实现全栈可观测性。
推荐理由：这篇把AWS上训大模型的全套基础设施串了一遍，从GPU选型到网络存储再到Slurm/K8s编排，是做云端大规模训练的工程师的必读参考。
Anthropic公司正式在AWS上推出Claude平台，为AWS客户提供了通过其现有身份验证、账单及承诺消费抵扣使用完整Claude功能的新途径。该平台首次将全套Claude API功能引入AWS生态，新功能与原生API同日上线。平台包含Claude托管智能体、代码执行、文件API等多项核心功能，并支持最新模型。与Amazon Bedrock上的服务不同，此平台由Anthropic直接运营，数据在AWS边界外处理，适合需要完整平台体验的企业客户。服务将在多数AWS商业区域提供。
推荐理由：Anthropic 第一次把完整 Claude 平台功能全量搬到 AWS 上，用 AWS 账号就能直接拿原生 API 最新特性，对于 AWS 生态里的开发者是个省心的一站式选择，不用再纠结该走 Bedrock 还是原生。
LlamaIndex 发布 liteparse-server，将 LiteParse 封装为可自托管的 HTTP 文档解析服务，支持 PDF、Word、PowerPoint、表格和图片，输出带 bounding box 的空间布局文本。
推荐理由：原文给出了接口、格式支持和两种部署模式的具体细节，读者可以据此评估自托管文档解析在隐私和成本上的取舍。
Runway开源了Python库confingy，旨在解决机器学习系统配置的长期痛点。该库允许开发者用纯Python代码（支持懒加载、类型检查和序列化）替代传统YAML配置文件，从而摆脱YAML作为图灵完备领域特定语言所带来的维护困境。confingy无需重构现有代码，即可满足跟踪构造函数参数、避免实例化昂贵对象（如大语言模型）等核心需求，有效改善了因复杂YAML配置导致的无法跳转定义、类型提示失效和重构困难等开发体验问题。
推荐理由：Runway把自家ML训练的YAML坑填平了，开源了confingy。如果你还在用YAML管实验参数，这可能是今年最该装的pip包。