Transluce 发布 Monitor：AI 驱动的语言模型可观测性界面
Transluce 发布 Monitor，一个帮助用户观察、理解和引导语言模型内部计算的可观测性界面，入口为 monitor.transluce.org，并已在 GitHub 开源代码。
#部署/工程
TransluceAI 评分5252
Prime IntellectAI 评分5959 Prime Intellect 启动 INTELLECT-1 首个全球分布式训练的 10B 参数模型
Prime Intellect 启动 INTELLECT-1，宣称是首个 10B 参数模型的全球分布式训练，基于 Llama-3 架构，数据混合为 55% Fineweb-edu、20% DLCM、20% Stack v2、5% OpenWebMath，共超 6 万亿 token，并开放算力贡献入口。
Liquid AI 模型与工程博客精选AI 评分6464 Liquid AI 发布首批 Liquid Foundation Models：LFM-1B/3B/40B
Liquid AI 发布第一代 Liquid Foundation Models（LFM），包含 1.3B、3.1B 和 40.3B MoE（激活参数 12B）三个语言模型，官方称在各规模上取得同级领先质量。
推荐理由：官方发布了三档模型的基准数据和内存表现，并说明非开源决定与边缘部署定位，读者可据此评估是否试用。
LangChain：BlogAI 评分3939 LangChain 为 Replit Agent 复杂工作流升级 LangSmith 可观测性
LangChain 与 Replit 团队合作，为 LangSmith 新增三项能力以支撑 Replit Agent 的复杂智能体工作流：大规模 trace 的摄取与前端渲染性能提升、trace 内搜索与过滤、以及可聚合多轮对话的 thread view。Replit Agent 的 trace 涉及数百个步骤，新功能帮助其更快定位瓶颈并支持 human-in-the-loop 调试。
Anthropic：Engineering精选AI 评分7272 引入上下文检索：大幅提升RAG系统准确性的新方法
传统RAG系统在编码时易丢失上下文，导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术，在检索前为文本块添加解释性上下文，能将检索失败次数减少49%，结合重排序后降幅可达67%，显著提升了下游任务性能。对于小于20万token的小型知识库，可直接将其完整内容放入提示词，结合Claude的提示词缓存功能，能降低超过2倍的延迟和高达90%的成本。对于大型知识库，上下文检索则提供了可扩展的解决方案。
推荐理由：Anthropic 把 RAG 检索失败率砍了 67%，方法不复杂但数据扎实，做知识库的开发者可以直接抄 cookbook 上手，是那种读完当天就能改进生产环境的实用帖。
Modal 官方工程博客AI 评分5151 Modal 通过动态批处理将 Whisper 推理吞吐提升 2.8 倍
Modal 在官方博客讲解如何为 Whisper large v3 添加动态批处理，只需在推理函数加 @modal.batched() 装饰器并改为列表输入输出。在 A10G 上以 max_batch_size 64 测试，吞吐从约 1.2 提升到约 3.3 请求/秒/容器，推理成本降低 65%。文章还解释了动态批处理相比固定批处理可避免请求稀疏时的无界延迟，并支持任意返回单响应的工作负载。
Runway：News Runway 推出 Gen-3 Alpha Turbo API
Runway 正式发布 Gen-3 Alpha Turbo API，开发者可将其视频生成能力集成至各类应用。目前采取分阶段开放策略，已向 Omnicom 等战略合作伙伴提供访问权限，现阶段主要面向大型团队和组织，未来几周将逐步扩大开放范围。
Modal 官方工程博客AI 评分4747 如何用 Modal、dlt 和 dbt 构建低成本分析栈
Modal 工程团队用 dlt 做数据加载、dbt 做转换、GitHub Actions 做 CI/CD，在 Modal 上跑完整分析栈，每天搬运数百万行数据成本不到 1 美元。其中一次任务在 47 秒内写入 1,375,896 行（约 20MB），按 Modal 计费约合每月 0.006 美元；同样每月 3000 万行的同步量在 Fivetran 上需 4,738 美元/月。
Modal 官方工程博客AI 评分4444 Modal 产品更新：应用回滚、动态批处理、Sandbox 隧道与 OpenTelemetry 集成
Modal 本月新增应用回滚功能，可在 dashboard 或 CLI 中将应用即时回滚到旧版本；@batched 装饰器支持动态批处理，在延迟与吞吐、GPU 利用率之间做权衡。Sandbox 现可将 TCP 端口转发到公网并 exec 内部进程，同时支持将日志导出到 OpenTelemetry，CPU 核与高端 GPU 价格下调。
LlamaIndex：产品、工程与评测AI 评分5353 LlamaIndex 发布 llama-deploy：以微服务方式部署 Workflows
LlamaIndex 官方发布 llama-deploy，用于以可扩展微服务的方式部署和扩展基于 llama-index 构建的智能体 Workflows，只需几行代码即可部署。
LMSYS Blog SGLang v0.3 发布：DeepSeek MLA 吞吐量提升 7 倍，支持多模态视频理解
SGLang v0.3 正式发布，实现显著性能提升与新架构支持。针对 DeepSeek MLA 机制深度优化，采用权重吸收、FP8 量化等技术，在 H100 GPU 上吞吐量最高提升 7 倍。集成 torch.compile 使批量 1-32 场景延迟降低 1.5 倍。新增 LLaVA-OneVision 支持，可处理交错文本、多图像及视频输入，速度提升 4.5 倍。同时全面支持 Gemma-2 的 8K 上下文与交错窗口注意力，突破 4K 限制。
LlamaIndex：产品、工程与评测AI 评分4242 用 LlamaIndex 和 Azure OpenAI 构建无服务器 RAG 应用
LlamaIndex 发布教程，演示如何用 Azure OpenAI 作为 AI 提供方、在 Microsoft Azure 上部署无服务器 RAG 应用。
LlamaIndex：产品、工程与评测AI 评分5757 LlamaIndex 0.11 发布：新增 Workflows，llama-index-core 包体积减少 42%
LlamaIndex 发布 Python 版 0.11，引入事件驱动的 Workflows 架构，取代已弃用的 Query Pipelines，并新增 instrumentation 可观测性功能。
Modal 官方工程博客AI 评分3939 Modal 推出浏览器内代码 playground，基于 Modal Sandboxes 执行用户代码
Modal 上线交互式代码 playground，用户可直接在浏览器中编写并运行代码，无需本地安装即可试用 Modal。其执行链路为前端请求经 Web Function 触发 modal.Sandbox，在隔离容器内以 modal run 运行用户代码并流式回传标准输出与错误日志，程序结束后沙箱默认销毁。
LangChain：BlogAI 评分3737 Podium 如何用 LangSmith 优化 AI Employee 智能体行为，将工程干预减少 90%
Podium 借助 LangSmith 为其 AI Employee 智能体搭建测试与可观测性闭环，将工程干预减少 90%。通过数据集管理、模型蒸馏与微调，其对话结束检测的 F1 分数从 91.7% 提升至 98.6%，超过 98% 的质量阈值。TPS 团队还能直接排查客户问题，区分应用 bug 与上下文缺失等情况。
Modal 官方工程博客AI 评分5252 Modal 用 100 次 LLaMA 3.1 8B 搜索在 HumanEval 上超过 GPT-4o
Modal 团队通过多次采样搜索，让 LLaMA 3.1 8B Instruct 在 HumanEval 上的 pass@k 从单次 66.4% 提升到 100 次生成的 90.5%（对比 GPT-4o pass@1 90.2%）和 1000 次的 95.1%。
DeepSeek：API 更新日志AI 评分3535 DeepSeek API 上线硬盘缓存技术，价格再降一个数量级
DeepSeek API 创新采用硬盘缓存技术，使价格再降一个数量级。该技术通过硬盘缓存机制显著降低调用成本，相关更新详情已同步至官方文档。
LMSYS Blog 使用 SGLang Runtime 实现更快的开源 Llama3 推理（对比 TensorRT-LLM、vLLM）
LMSYS.org 推出 SGLang Runtime v0.2，一个纯 Python 开发的开源 LLM 推理引擎。在覆盖 Llama-8B 至 405B 的基准测试中，该系统在 A100 和 H100 GPU 上展现出优于 vLLM 最高 3.1 倍的离线吞吐量（Llama-70B 场景），并与 TensorRT-LLM 性能相当。SGLang 支持 FP8/FP16 精度，核心调度器仅约 4000 行代码，已在 Chatbot Arena 等平台累计生成数万亿 token。
LlamaIndex：产品、工程与评测AI 评分2424 案例研究：Scaleport.ai 如何用 LlamaParse 加速开发并提升销售
Scaleport.ai 借助 LlamaIndex 的 LlamaParse 加速 AI 应用开发并改善销售转化，其 CTO 称某客户项目开发工时比此前同类应用减少约 50-60%。LlamaParse 在多项 OCR 任务上表现优于 GPT-4 vision，并提供集中式知识接口、索引检索与从 UI 到代码的快速原型到生产部署能力。
Sierra：BlogAI 评分3939 Sierra 谈 AI 智能体工程师：构建可规模化部署的客服 AI 智能体
Sierra 提出"智能体工程师"这一新角色，负责用其 Agent OS 平台为客户设计、构建并上线面向客服与商务的品牌 AI 智能体。该岗位需掌握 GPT-4o、Claude 3.5 Sonnet、Gemini 等前沿模型，以及向量数据库、提示词工程、智能体架构与 LangChain 等编排引擎。
LlamaIndex：产品、工程与评测AI 评分4949 Arize AI 与 LlamaIndex 联合推出 LLM 应用评测平台 LlamaTrace
Arize AI 与 LlamaIndex 联合发布 LlamaTrace，这是 Arize OSS Phoenix 的托管版本，用于 LLM 应用的追踪与可观测性。该平台支持即时记录 traces、持久化数据集、运行实验与评测，并可与同事共享结果，今日起可通过 LlamaIndex 或 Arize 账号访问。
Prime IntellectAI 评分5959 Prime Intellect Compute 算力交易平台全面开放
Prime Intellect 宣布其全球 GPU 算力聚合与调度平台 Prime Intellect Compute 正式全面公开，目标是打造算力交易所，减少价格差异、提升市场效率。
LMSYS Blog RouteLLM：面向高性价比 LLM 路由的开源框架
RouteLLM 是一个基于偏好数据训练的开源 LLM 路由框架，通过智能分配查询至强模型（如 GPT-4）或弱模型（如 Mixtral 8x7B）来平衡成本与性能。该框架提供四种路由器，其中矩阵分解模型在 MT Bench 上表现最优，仅需调用 14% 的 GPT-4 即可达到其 95% 的性能，整体成本降低 75%。在 MMLU 和 GSM8K 基准测试中，RouteLLM 分别实现 45% 和 35% 的成本削减，同时保持 95% 的 GPT-4 水平。项目已开源全部代码与数据集。
LangChain：Blog精选AI 评分6666 LangChain 发布 LangGraph v0.1 稳定版与 LangGraph Cloud Beta
LangChain 宣布 LangGraph v0.1 稳定版发布，并推出处于封闭 Beta 的 LangGraph Cloud，用于大规模、容错地部署智能体。
推荐理由：官方发布交代了 LangGraph v0.1 稳定版的控制设计与 Cloud 的容错部署能力，可帮助读者判断智能体上线时的基础设施选型。
Modal 官方工程博客AI 评分3636 如何从 Airflow 运行 Modal GPU 任务
Modal 官方工程博客介绍如何从 Airflow DAG 直接触发 Modal 任务，以替代 Celery 或 Kubernetes executor，并保留 Local executor 般的安装简便性。
LangChain：BlogAI 评分2727 Factory 如何用 LangSmith 自动化反馈闭环，将迭代速度提升 2 倍
Factory 借助自托管 LangSmith 为 SDLC 自动化 Droids 构建可观测性，将反馈直接关联到每次 LLM 调用，并用 Feedback API 自动化提示词优化，使迭代速度提升 2 倍。
LangChain：BlogAI 评分3131 LangSmith 推出 Workspaces 以改善团队协作与资源组织
LangSmith 推出 Workspaces 功能，允许企业按团队、业务单元或部署环境隔离资源。该功能旨在改善协作与组织管理，适用于需要多团队并行或环境隔离的企业用户。
Modal 官方工程博客AI 评分4646 Modal 如何用 syscall 签名识别加密货币挖矿程序
Modal 在其 serverless 容器运行时中加入基于 syscall 的程序分析组件 seccheck，用于检测并禁用挖矿的 Modal Functions，随后封禁相关用户。
Sierra：BlogAI 评分4545 Sierra 提出 Agent Development Life Cycle：AI 智能体需要新的开发生命周期
Sierra 基于其 Agent OS 提出面向 AI 智能体的 Agent Development Life Cycle，用声明式目标和确定性护栏解决 LLM 智能体的非确定性问题。
LlamaIndex：产品、工程与评测AI 评分3131 LlamaIndex 集成 PostgresML：用 Managed Index 简化 RAG 应用架构
LlamaIndex 与 PostgresML 完成集成，推出 PostgresML Managed Index，可在单一系统内完成文档存储、切分、嵌入生成与检索。该方案把嵌入、向量搜索和文本生成合并为一次网络调用，减少多服务往返带来的延迟与隐私风险，默认使用 recursive_character 切分和 intfloat/e5-small-v2 嵌入模型。
Modal 官方工程博客AI 评分3434 Hunch 如何用 Modal Sandboxes 强化 AI 工作流
Hunch 借助 Modal Sandboxes 在无代码 AI 平台中安全执行 AI 生成的任意代码，支持动态 pip 安装依赖、挂载存储卷和自定义算力，容器在每次执行后即被销毁。
LlamaIndex：产品、工程与评测AI 评分2727 MyMagic AI 与 LlamaIndex 集成实现批量推理
MyMagic AI 的批量推理 API 现已集成进 LlamaIndex，支持 Llama 70B、Mistral 7B、Mixtral 8x7B、CodeLlama 70B 等开源模型及 Embedding 模型，可一次调用处理整个存储桶中的文件。
Modal 官方工程博客AI 评分4848 在 Modal 上微调 Stable Diffusion 打造无限图标库
Modal 工程博客展示了如何用约 300 个 Heroicons SVG 图标微调 Stable Diffusion，生成 Heroicons 风格的黑白线条图标，例如 barack-obama、golden-retriever 等。
Modal 官方工程博客AI 评分3131 Substack 为何将 AI 和 ML 流水线从 AWS SageMaker 迁至 Modal
Substack 已将垃圾检测、新闻邮件推荐、音频转录、情感分析和图像生成等模型的训练与部署从 AWS SageMaker 迁至 Modal。此前在 SageMaker 上，训练机器启动需等待 5 分钟以上，代码需在多个 notebook 间重复，而迁移后一个推理端点仅用一小时即完成部署，新推荐模型几天内即可上线。
LangChain：BlogAI 评分2626 LangSmith 推出基于角色的访问控制（RBAC）
LangSmith 新增基于角色的访问控制（RBAC），管理员可在工作区或组织内为用户分配角色，内置 Admin、Viewer、Editor 三种系统角色，并支持自定义细粒度权限。
Modal 官方工程博客AI 评分4242 Modal 产品更新：Cloud buckets、Okta SSO 等新功能上线
Modal 本月新增 AWS S3 和 Cloudflare R2 存储桶挂载功能，可将桶作为可写文件系统卷挂载到容器中。同时推出 @web_server 装饰器支持非 ASGI/WSGI 协议的 Web 服务器托管，并为企业管理版用户提供 Okta 单点登录。此外还上线了 Volume 文件系统查看器及多项客户端更新。
Modal 官方工程博客AI 评分3838 为什么你应该把 ETL 技术栈迁移到 Modal
Modal 官方工程博客以两个内部数据分析案例说明，用 Modal 做 ETL 比 Fivetran 等厂商方案更省钱、更灵活。第一个案例将 1200 万行 ClickHouse 数据复制到 Snowflake，耗时 16 分钟、成本 0.29 美元，约为 Fivetran 约 3300 美元成本的 0.01%。
Modal 官方工程博客AI 评分3333 Ramp 如何用微调 LLM 实现收据处理自动化
Ramp 借助 Modal 平台微调 LLM，将收据转结构化 JSON 模型需人工介入的比例降低 34%，其基础设施成本比 OpenAI 等主流 LLM 提供商低约 79%。Ramp 用 Modal 并行训练数百个候选模型、持久化权重并按需启动推理端点，还曾将处理 25000 张发票 PII 剥离的任务从本地 3 天缩短至 256 个云端 worker 上 20 分钟、花费 100 美元。
LlamaIndex：产品、工程与评测AI 评分3636 LlamaIndex 集成 NVIDIA NIM 加速企业级生成式 AI 部署
LlamaIndex 宣布与 NVIDIA NIM 推理微服务集成，帮助企业将生成式 AI 模型连接至自有专有数据源，在保障敏感数据安全的同时实现规模化部署。开发者可通过新上线的 NVIDIA API catalog 访问 NIM 微服务快速构建应用，再平滑迁移至自托管 NIM 实例，以获得更强的安全性、定制能力和成本效益。
LlamaIndex：产品、工程与评测AI 评分4747 Langfuse 与 LlamaIndex 集成：一键实现开源 RAG 可观测性
Langfuse 宣布与 LlamaIndex 集成，通过全局回调管理器实现一键式开源 RAG 可观测性。开发者安装 llama-index-callbacks-langfuse 并设置 set_global_handler("langfuse") 两行代码即可获得 RAG 应用的详细追踪，自动包含延迟与成本明细。