Modal 解析其 Web 基础设施：把 HTTP 和 WebSocket 请求翻译成函数调用
Modal 官方工程博客详解其 modal-http 服务，将 HTTP 和 WebSocket 请求翻译成 serverless 函数调用，并刚完成完整的 WebSocket 支持。
#部署/工程
Modal 官方工程博客AI 评分5656
LlamaIndex：产品、工程与评测AI 评分3030 MyMagic AI 与 LlamaIndex 集成实现 LLM 批量处理
MyMagic AI 推出与 LlamaIndex 的集成，通过批量推理 API 支持 LLaMA 70B、Mistral 7B、Mixtral 8x7B、CodeLlama70b 等开源大语言模型及嵌入模型，可完成数据提取、摘要、分类、情感分析、训练数据生成和嵌入等任务。
LlamaIndex：产品、工程与评测AI 评分5353 polySpectra 如何用 LlamaIndex 与 AstraDB 为 neThing.xyz 接入 RAG，单日降低 80% OpenAI 成本
polySpectra 创始人 Raymond 撰文复盘为 3D 生成式 AI 工具 neThing.xyz 接入 RAG 的过程：通过 LlamaIndex 和 AstraDB 检索相关示例代码替代庞大的 system prompt。
Modal 官方工程博客AI 评分4343 Modal 支持 WebSocket 连接
Modal 现已支持 WebSocket 连接，开发者无需额外配置即可在 Modal 函数上搭建 WebSocket 服务器，每个连接被视为单个输入，非 CPU/GPU 密集型函数需开启并发输入，否则 Modal 会为每个连接启动新容器。
Modal 官方工程博客AI 评分2727 Suno 如何借助 Modal 将音乐生成模型上线时间提前 4 个月
Suno 借助 Modal 将推理和批量预处理扩展至数千块 GPU，把一款音乐生成模型的上线时间提前了 4 个月，无需自建团队维护基础设施。Suno 先在 Modal 上运行批量预处理，随后扩展到模型部署，全程无需配置文件，仅用少量 Python 脚本。Modal 的自动扩缩容能力帮助 Suno 应对圣诞、情人节等高峰需求，且无需长期承诺 GPU 预留。
LlamaIndex：产品、工程与评测精选AI 评分6464 LlamaIndex 发布 LlamaParse 与 LlamaCloud 托管解析及数据管线服务
LlamaIndex 发布 LlamaParse 和 LlamaCloud，为 LLM 与 RAG 应用提供托管解析、摄取和检索服务。
推荐理由：官方发布新解析与托管数据管线服务，给出公共预览的用量限制、试用方式与存储伙伴集成，读者可据此评估是否引入现有 RAG 工作流。
Modal 官方工程博客AI 评分3838 Modal 产品更新：支持 WebSocket、交互式命令与 H100 GPU
Modal 在 2024 年新增 WebSocket 协议支持、交互式命令和 H100 GPU 可用性。WebSocket 支持让 Modal 函数可直接托管 Streamlit 等框架，H100 则回应了用户需求正式上线。客户端同步更新，新增 @build 生命周期钩子、Volumes 自动后台提交及私有 Docker registry 认证等功能。
Modal 官方工程博客AI 评分5252 Modal 上线 NVIDIA H100 GPU，单卡 $7.65/小时
Modal 宣布全部用户即日起可使用 NVIDIA H100 GPU。据 NVIDIA 数据，H100 相比 A100 在大模型上训练最高提速 4x、推理最高提速 30x；H100 配备 80 GB 显存，16 位精度算力接近 2000 teraFLOPS，单卡 $7.65/小时，最多可同时使用 8 卡并通过 NVLink 互联（3.6 TB/s 双向带宽）。
LMSYS Blog 基于压缩有限状态机实现本地LLM快速JSON解码
SGLang团队提出Jump-Forward Decoding算法，通过压缩有限状态机中的单一路径，将多token预填充合并为单步执行，突破传统方法逐token解码的限制。该技术兼容任意正则表达式与JSON/YAML schema，相比guidance+llama.cpp和outlines+vLLM等现有方案，延迟降低2倍，吞吐量提升2.5倍，使约束解码速度超越普通解码。
LlamaIndex：产品、工程与评测AI 评分4646 Tonic Validate x LlamaIndex：为 LlamaIndex 实现集成测试
Tonic Validate 已原生集成进 LlamaIndex 核心库，可用于对 RAG 系统做集成测试与性能监控。教程演示了用 create-llama 搭建示例 RAG 应用（选用 gpt-4-1106-preview、FastAPI 模板），再通过 tonic-validate 编写测试，并结合 GitHub Actions 在 RAG 性能变化时发出告警。
Modal 官方工程博客AI 评分4848 如何在 15 分钟内完成整个英文 Wikipedia 的嵌入
Modal 官方工程博客展示了用 Hugging Face Text Embedding Inference 在 Modal 无服务器平台上为整个英文 Wikipedia 生成嵌入向量的方案，耗时不到 15 分钟，成本约 15 美元。
LMSYS Blog 利用 RadixAttention 与 SGLang 实现快速且灵活的 LLM 推理
研究团队发布 SGLang 结构化生成语言及后端技术 RadixAttention，通过基数树数据结构自动管理并重用 KV 缓存，显著减少多轮生成调用中的冗余计算。在 NVIDIA A10G GPU 上运行 Llama-7B 和 Mixtral-8x7B 模型的测试显示，该系统吞吐量较 Guidance 和 vLLM 等现有系统提升最高达 5 倍。前端提供嵌入 Python 的领域特定语言，支持解释器与编译器双模式执行，有效提升复杂 LLM 程序的编程与执行效率。
LlamaIndex：产品、工程与评测AI 评分5454 LlamaIndex 发布 Query Pipelines 声明式查询编排 API
LlamaIndex 推出 Query Pipelines，一个全新的声明式 API，可用更少代码将 LLM、提示词、检索器、查询引擎等模块编排成顺序链或任意复杂度的 DAG，覆盖 RAG、结构化数据抽取等场景。它支持链式写法和 add_modules/add_link 构建 DAG 两种用法，自带端到端回调与可观测性集成，未来计划支持序列化和缓存层。
LlamaIndex：产品、工程与评测AI 评分4646 如何用 LlamaIndex 和 OpenLLM 构建智能查询响应系统
教程演示如何结合 OpenLLM 与 LlamaIndex 构建基于自定义语料的智能查询响应系统。OpenLLM 负责部署开源 LLM，示例用 `openllm start meta-llama/Llama-2-7b-chat-hf --backend vllm` 启动 Llama 2 7B 本地服务。
LlamaIndex：产品、工程与评测AI 评分5959 LlamaIndex 工程师分享基于 AWS 的可扩展数据摄取管线实践
LlamaIndex 作者将 25K 文档的索引构建时间从 10-20 分钟降到约 5 分钟，方法是部署 TEI 嵌入服务、RabbitMQ 队列和 EKS worker 集群。文章给出完整架构、CLI 命令和代码仓库 https://github.com/run-llama/llamaindex_aws_ingestion，测试数天花费约 $40CAD，并提醒用完后删除集群资源。
Mistral AI：News精选AI 评分7575 Mistral AI 开放 La Plateforme 平台测试，提供三个生成端点和嵌入端点
Mistral AI 开放 La Plateforme 平台 beta 访问，提供 mistral-tiny、mistral-small、mistral-medium 三个文本生成端点和 mistral-embed 嵌入端点。
推荐理由：官方公布三个文本端点和一个嵌入端点的性能与定价取舍，并附 MT-Bench 和 MTEB 分数，便于开发者按成本与质量选型。
Linear：NowAI 评分4747 Linear 推出 Similar Issues 功能，用 LLM 检测重复 Issue
Linear 在其所有工作空间中推出 Similar Issues 匹配功能，利用 LLM 生成向量嵌入并通过 PostgreSQL + pgvector 存储和搜索。该功能可在创建 Issue、Triage 收件箱及客户支持集成中自动提示可能重复或相关的已有 Issue，旨在减少重复劳动和积压管理负担。
LMSYS Blog 利用 Lookahead Decoding 打破 LLM 推理的顺序依赖
研究团队发布 lookahead decoding 并行解码算法，基于 Jacobi 迭代同时提取验证 n-grams，无需草稿模型即可打破自回归解码的顺序依赖。该方法可将 LLaMA-2-Chat 7B 等模型的推理延迟降低 1.5 至 2.3 倍，解码步骤数随每步 log(FLOPs) 线性减少，且已与 HuggingFace Transformers 兼容，仅需数行代码即可集成。
LlamaIndex：产品、工程与评测AI 评分2727 如何用 create-llama 将 RAG 应用部署到生产环境
LlamaIndex 发布命令行工具 create-llama，可生成全栈 RAG 应用，并给出三种后端的生产部署步骤：Next.js serverless 部署到 Vercel、Express 前后端部署到 Render、以及 Python 后端。Next.js 方案只需推送 GitHub 仓库、导入 Vercel 并配置 OPENAI_API_KEY 环境变量即可上线。
LMSYS Blog 服务数千个并发 LoRA 适配器的方案
S-LoRA 是一个专为大规模并发 LoRA 适配器服务设计的系统，通过统一分页技术动态管理 KV 缓存与适配器权重内存以减少碎片，并采用异构批处理优化不同秩的 LoRA 计算。该系统支持张量并行扩展至多 GPU，相比 HuggingFace PEFT 和 vLLM，吞吐量提升最高达 4 倍，可同时服务的适配器数量增加数个数量级。
LlamaIndex：产品、工程与评测精选AI 评分6161 LlamaIndex 发布 create-llama 命令行工具，一键生成全栈 LlamaIndex 应用
LlamaIndex 推出 create-llama 命令行工具，通过 npx create-llama 即可交互式生成一个可与自己数据对话的全栈应用。
推荐理由：原文给出了脚手架工具的技术选项和数据接入方式，开发者可以据此快速判断是否用它搭建 LlamaIndex 应用。
LangChain：BlogAI 评分4444 LangChain 为 LangServe 新增 Playground 与可配置能力
LangChain 为上周发布的部署工具 LangServe 新增 Playground 和可配置能力，部署 chain 后即可免费获得带流式输出、中间步骤完整日志和可调参数的 UI。该配置基于 LangChain Expression Language，可通过 URL 保存不同配置版本，目前配置尚不持久化，持久化部署平台正处于 alpha 测试阶段。
LlamaIndex：产品、工程与评测精选AI 评分6363 LlamaIndex 介绍用 LayoutPDFReader 提取 PDF 的章节、标题、段落和表格
LlamaIndex 发布教程，介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF，实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码，并说明该工具仅支持带文本层的 PDF，暂不支持 OCR。
推荐理由：文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法，含可直接复用的代码。
Modal 官方工程博客精选AI 评分6363 Modal 正式开放注册并宣布完成 1600 万美元 A 轮融资
云函数平台 Modal 正式全面开放，任何人可注册并在几分钟内于云端运行代码，同时宣布完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资。
推荐理由：官方宣布开放注册并公布融资，文中列出 GPU 型号、计费方式和 Ramp、Substack、Suno 等生产用户，可了解其定位与用法。
Modal 官方工程博客AI 评分4747 Modal Labs 完成 1600 万美元 A 轮融资并正式发布平台
Modal Labs 宣布完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资，Amplify Partners、Lux Capital、Definition Capital 等参投，累计融资达 2300 万美元。
LlamaIndex：产品、工程与评测AI 评分4545 Timescale Vector x LlamaIndex：让 PostgreSQL 成为更好的 AI 应用向量数据库
Timescale Vector 集成 LlamaIndex，让开发者用 PostgreSQL 构建 AI 应用。其受 DiskANN 启发的新索引在 100 万条 OpenAI 嵌入向量上实现约 99% 召回率下比专用数据库快 3 倍，比现有 PostgreSQL 索引快 39.39% 至 1,590.33%，并支持 HNSW 与 IVFFlat。
LangChain：BlogAI 评分4747 Timescale Vector 与 LangChain 集成：让 PostgreSQL 成为更好的 AI 向量数据库
Timescale Vector 与 LangChain 集成，让开发者用 PostgreSQL 作为向量数据库构建 AI 应用。其受 DiskANN 启发的新索引在 100 万条 OpenAI 嵌入上实现约 99% 召回率下比 Weaviate 快 243%，并支持基于时间的向量过滤与 RAG 上下文检索。LangChain 用户可获 90 天免费试用。
LangChain：BlogAI 评分3636 Xata 与 LangChain 集成：新增向量存储与记忆存储
Xata 为 LangChain 和 LangChain.js 各新增向量存储与记忆存储四项集成，可将文档嵌入存入 Xata 表做向量搜索，并把聊天历史作为 LLM 应用的长期记忆。Xata 是基于 PostgreSQL 的数据库平台，数据自动复制到 Elasticsearch，同时提供 BM25 全文搜索、向量搜索和混合搜索。官方还给出结合向量存储与记忆存储的多轮问答聊天机器人示例代码。
LangChain：BlogAI 评分3131 Qdrant x LangChain：面向生产环境的性能表现
Qdrant 与 LangChain 集成，主打生产环境的性能与资源效率：支持 100 万 OpenAI Vectors 仅需 2GB 至最多 18GB 内存。Qdrant 是 LangChain 提供的唯一支持异步操作的向量存储，基于 gRPC 提供完整 async API，开源版与 Qdrant Cloud SaaS 均可用。它还通过标量或乘积量化及 io_uring 降低磁盘 IO 开销。
LlamaIndex：产品、工程与评测AI 评分5656 LlamaIndex 0.7.0 发布：强化低层模块化以支持自底向上的 LLM 应用开发
LlamaIndex 发布 0.7.0，继续推进低层模块化，让用户可自底向上构建基于自己数据的 LLM 应用。
LlamaIndex：产品、工程与评测AI 评分4242 用 GraphQL 与图数据库丰富 LlamaIndex 模型
作者为 LlamaIndex 新增了图数据库和 GraphQL API 两个数据加载器，并演示如何用加载器把外部数据接入 LLM 查询。文中先用 SimpleCSVReader 加载 countries.csv 构建 GPTVectorStoreIndex，配合 gpt-3.5-turbo 完成跨语言问答并返回引用文档。
LlamaIndex：产品、工程与评测AI 评分5959 LlamaIndex 与 Ray 实战教程：构建并扩展可部署的查询引擎
LlamaIndex 与 Anyscale 联合发布教程，演示用 LlamaIndex + Ray 构建针对 Ray 文档和博客的查询引擎。
LlamaIndex：产品、工程与评测AI 评分4949 用 LlamaIndex 和 TruLens 构建与评测 LLM 应用
LlamaIndex 与 TruLens 团队合作，在 TruLens 最新版本中为 LlamaIndex 应用引入 tracing，只需几行代码即可自动评测应用输入输出、LLM 调用、检索到的上下文块、延迟等组件。开发者用 TruLlama 包装 query engine 并添加反馈函数，即可在 TruLens dashboard 中查看评测结果并定位检索块不相关导致的模型幻觉。
LlamaIndex：产品、工程与评测AI 评分4040 Vellum 与 LlamaIndex 集成：为 LLM 应用提供提示词工程与测试
Vellum 与 LlamaIndex 完成集成，LlamaIndex 用户可通过 VellumPredictor 自动注册提示词，并获得 Sandbox 迭代环境和带版本管理、请求监控的 Deployment。集成还支持用 Vellum Test Suites 批量上传 CSV 测试用例，在生产前跑 50–100 条用例做单元测试，并在生产中对历史输入做回归测试。
EleutherAI：Blog Safetensors 通过安全审计并将成为默认格式
Hugging Face 联合 EleutherAI 与 Stability AI 委托 Trail of Bits 对 Safetensors 库完成独立安全审计，结果证实该库安全可靠，具备成为默认格式的条件。三方组织宣布将推动 Safetensors 作为模型保存的默认格式。完整审计报告已公开发布，相关博客文章将进一步阐述该库的技术背景与后续实施计划。
EleutherAI：Blog Transformer 数学基础：计算与内存入门
系统阐述 Transformer 架构在计算负载与内存占用方面的基础数学原理，涵盖前向传播与反向传播过程中的浮点运算量（FLOPs）估算、模型参数量与显存需求的计算公式，以及注意力机制的复杂度分析。通过量化方法解析大语言模型训练与推理阶段的资源消耗规律，为模型设计与硬件选型提供理论依据。
Runway：News 与 AWS 合作扩展内部研究基础设施
Runway 宣布与 AWS 达成多年战略合作，AWS 成为其首选云提供商以扩展高性能计算集群。Runway 已将全部模型开发与训练迁至内部，加速新模型训练与产品部署。双方此前在 AWS 上合作完成了多模态视频生成模型 Gen-2 的训练，该模型支持通过文本、图像或视频片段生成新视频，代表了视频生成 AI 的重大进步。
OpenAI：官网动态AI 评分4747 OpenAI、Cohere 与 AI21 Labs 发布大语言模型部署最佳实践
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的大语言模型最佳实践，适用于任何开发或部署大语言模型的组织。
OpenAI：官网动态AI 评分4242 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展至 7,500 节点，为 GPT-3、CLIP、DALL·E 等大模型提供可扩展基础设施，同时支持小规模快速迭代研究。