Prime Intellect 发布 INTELLECT-1：首个全球分布式训练的 10B 参数模型
Prime Intellect 发布 INTELLECT-1，称其为首个全球协作训练的 10B 参数语言模型，基于 Llama-3 架构在 1T token 上训练 42 天，跨五国三洲最多同时使用 112 张 H100。
推荐理由：原文给出分布式训练的关键数字和 PRIME 框架细节，读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
技术方向
部署工程 最新动态
把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
634 条精选近 30 天 57 条共收录 4,181 条
更新
精选归档 · 第 32 页
Prime Intellect精选AI 评分6767
Liquid AI 模型与工程博客精选AI 评分6464 Liquid AI 发布首批 Liquid Foundation Models：LFM-1B/3B/40B
Liquid AI 发布第一代 Liquid Foundation Models（LFM），包含 1.3B、3.1B 和 40.3B MoE（激活参数 12B）三个语言模型，官方称在各规模上取得同级领先质量。
推荐理由：官方发布了三档模型的基准数据和内存表现，并说明非开源决定与边缘部署定位，读者可据此评估是否试用。
Anthropic：Engineering精选AI 评分7272 引入上下文检索：大幅提升RAG系统准确性的新方法
传统RAG系统在编码时易丢失上下文，导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术，在检索前为文本块添加解释性上下文，能将检索失败次数减少49%，结合重排序后降幅可达67%，显著提升了下游任务性能。对于小于20万token的小型知识库，可直接将其完整内容放入提示词，结合Claude的提示词缓存功能，能降低超过2倍的延迟和高达90%的成本。对于大型知识库，上下文检索则提供了可扩展的解决方案。
推荐理由：Anthropic 把 RAG 检索失败率砍了 67%，方法不复杂但数据扎实，做知识库的开发者可以直接抄 cookbook 上手，是那种读完当天就能改进生产环境的实用帖。
Eugene Yan：Writing精选AI 评分8282 Applied LLMs：一年 LLM 应用开发的经验总结
Eugene Yan 等六位作者发布长文 Applied LLMs，总结一年 LLM 应用开发经验，分战术、运营、战略三部分。战术层面涵盖 n-shot 与 CoT 提示词技巧、RAG 文档相关性、结构化输出工具 Instructor 和 Outlines、LLM-as-Judge 评测及幻觉防护；战略层面提出 PMF 之前不买 GPU、先提示词后微调、系统比模型更构成护城河等观点。
推荐理由：多位从业者基于一年真实开发经验总结提示词、RAG、评测到团队与战略的实践清单，读者可对照自己的 LLM 项目逐条借鉴。
LlamaIndex：产品、工程与评测精选AI 评分6464 LlamaIndex 发布 LlamaParse 与 LlamaCloud 托管解析及数据管线服务
LlamaIndex 发布 LlamaParse 和 LlamaCloud，为 LLM 与 RAG 应用提供托管解析、摄取和检索服务。
推荐理由：官方发布新解析与托管数据管线服务，给出公共预览的用量限制、试用方式与存储伙伴集成，读者可据此评估是否引入现有 RAG 工作流。
Mistral AI：News精选AI 评分7575 Mistral AI 开放 La Plateforme 平台测试，提供三个生成端点和嵌入端点
Mistral AI 开放 La Plateforme 平台 beta 访问，提供 mistral-tiny、mistral-small、mistral-medium 三个文本生成端点和 mistral-embed 嵌入端点。
推荐理由：官方公布三个文本端点和一个嵌入端点的性能与定价取舍，并附 MT-Bench 和 MTEB 分数，便于开发者按成本与质量选型。
LlamaIndex：产品、工程与评测精选AI 评分6161 LlamaIndex 发布 create-llama 命令行工具，一键生成全栈 LlamaIndex 应用
LlamaIndex 推出 create-llama 命令行工具，通过 npx create-llama 即可交互式生成一个可与自己数据对话的全栈应用。
推荐理由：原文给出了脚手架工具的技术选项和数据接入方式，开发者可以据此快速判断是否用它搭建 LlamaIndex 应用。
LlamaIndex：产品、工程与评测精选AI 评分6363 LlamaIndex 介绍用 LayoutPDFReader 提取 PDF 的章节、标题、段落和表格
LlamaIndex 发布教程，介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF，实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码，并说明该工具仅支持带文本层的 PDF，暂不支持 OCR。
推荐理由：文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法，含可直接复用的代码。
Modal 官方工程博客精选AI 评分6363 Modal 正式开放注册并宣布完成 1600 万美元 A 轮融资
云函数平台 Modal 正式全面开放，任何人可注册并在几分钟内于云端运行代码，同时宣布完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资。
推荐理由：官方宣布开放注册并公布融资，文中列出 GPU 型号、计费方式和 Ramp、Substack、Suno 等生产用户，可了解其定位与用法。
LangChain：Blog精选AI 评分6161 LangChain 与 Airbyte 集成：让数据摄取达到生产级就绪
LangChain 与 Airbyte 的集成方案旨在将检索应用扩展至生产环境。该方案通过调度、文本拆分和 50 多种嵌入模型实现数据摄取自动化，帮助开发者构建可规模化的生产级数据管道。
推荐理由：Airbyte 目标端把调度、切分与嵌入选项接入 LangChain，让数据源到 RAG 索引的更新由手动脚本转为可配置流程。
Hugging Face 社区博客精选AI 评分6060 Hugging Face 教程：从 PyTorch DDP 到 Accelerate 再到 Trainer 掌握分布式训练
Hugging Face 发布教程，以 MNIST 训练示例讲解三种抽象层级的分布式数据并行训练：PyTorch 原生 torch.distributed 与 DDP、Accelerate 的轻量封装、Transformers 的 Trainer API。
推荐理由：教程用同一个 MNIST 示例逐级展示三种分布式训练写法，读者可以按抽象层级选择适合自己项目的方案。
Hugging Face 社区博客精选AI 评分7171 Hugging Face 讲解 Accelerate 如何借助 PyTorch 加载和运行超大模型
Hugging Face 发布博客讲解 Accelerate 如何加载和运行超出单机内存的超大模型。核心做法是用 PyTorch meta device 创建空模型、用 infer_auto_device_map 自动计算 GPU、CPU 与磁盘的设备分配，并按分片加载权重，通过 hooks 在每次前向传播前后搬运权重。
推荐理由：原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制，并给出可在免费 Colab 复现的做法。
Hugging Face 社区博客精选AI 评分7979 Hugging Face 详解 LLM.int8() 8 位量化在 transformers 中的集成与使用
Hugging Face 与 bitsandbytes 合作，将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库，使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。
推荐理由：文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节，并附基准数据与代码示例。
Hugging Face 社区博客精选AI 评分6161 Hugging Face 用 TensorFlow 与 XLA 加速文本生成，部分场景提速超 100 倍
Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成现可通过 XLA 编译加速，某些场景提速超过 100 倍，在多数基准中比 PyTorch 更快，最高快达 9 倍。
推荐理由：Hugging Face 官方讲解如何用 jit_compile=True 加速 TensorFlow 文本生成，给出编译缓存机制、padding 技巧和实测数据，方法可直接复用。