LlamaIndex 发布 LlamaParse 与 LlamaCloud 托管解析及数据管线服务
LlamaIndex 发布 LlamaParse 和 LlamaCloud，为 LLM 与 RAG 应用提供托管解析、摄取和检索服务。
推荐理由：官方发布新解析与托管数据管线服务，给出公共预览的用量限制、试用方式与存储伙伴集成，读者可据此评估是否引入现有 RAG 工作流。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
649 条精选近 30 天 62 条共收录 4,263 条
更新
精选归档 · 第 33 页
LlamaIndex：产品、工程与评测精选AI 评分6464
Mistral AI：News精选AI 评分7575 Mistral AI 开放 La Plateforme 平台测试，提供三个生成端点和嵌入端点
Mistral AI 开放 La Plateforme 平台 beta 访问，提供 mistral-tiny、mistral-small、mistral-medium 三个文本生成端点和 mistral-embed 嵌入端点。
推荐理由：官方公布三个文本端点和一个嵌入端点的性能与定价取舍，并附 MT-Bench 和 MTEB 分数，便于开发者按成本与质量选型。
LlamaIndex：产品、工程与评测精选AI 评分6161 LlamaIndex 发布 create-llama 命令行工具，一键生成全栈 LlamaIndex 应用
LlamaIndex 推出 create-llama 命令行工具，通过 npx create-llama 即可交互式生成一个可与自己数据对话的全栈应用。
推荐理由：原文给出了脚手架工具的技术选项和数据接入方式，开发者可以据此快速判断是否用它搭建 LlamaIndex 应用。
LlamaIndex：产品、工程与评测精选AI 评分6363 LlamaIndex 介绍用 LayoutPDFReader 提取 PDF 的章节、标题、段落和表格
LlamaIndex 发布教程，介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF，实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码，并说明该工具仅支持带文本层的 PDF，暂不支持 OCR。
推荐理由：文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法，含可直接复用的代码。
Modal 官方工程博客精选AI 评分6363 Modal 正式开放注册并宣布完成 1600 万美元 A 轮融资
云函数平台 Modal 正式全面开放，任何人可注册并在几分钟内于云端运行代码，同时宣布完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资。
推荐理由：官方宣布开放注册并公布融资，文中列出 GPU 型号、计费方式和 Ramp、Substack、Suno 等生产用户，可了解其定位与用法。
Hugging Face 社区博客精选AI 评分6060 Hugging Face 教程：从 PyTorch DDP 到 Accelerate 再到 Trainer 掌握分布式训练
Hugging Face 发布教程，以 MNIST 训练示例讲解三种抽象层级的分布式数据并行训练：PyTorch 原生 torch.distributed 与 DDP、Accelerate 的轻量封装、Transformers 的 Trainer API。
推荐理由：教程用同一个 MNIST 示例逐级展示三种分布式训练写法，读者可以按抽象层级选择适合自己项目的方案。
Hugging Face 社区博客精选AI 评分7171 Hugging Face 讲解 Accelerate 如何借助 PyTorch 加载和运行超大模型
Hugging Face 发布博客讲解 Accelerate 如何加载和运行超出单机内存的超大模型。核心做法是用 PyTorch meta device 创建空模型、用 infer_auto_device_map 自动计算 GPU、CPU 与磁盘的设备分配，并按分片加载权重，通过 hooks 在每次前向传播前后搬运权重。
推荐理由：原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制，并给出可在免费 Colab 复现的做法。
Hugging Face 社区博客精选AI 评分7979 Hugging Face 详解 LLM.int8() 8 位量化在 transformers 中的集成与使用
Hugging Face 与 bitsandbytes 合作，将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库，使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。
推荐理由：文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节，并附基准数据与代码示例。
Hugging Face 社区博客精选AI 评分6161 Hugging Face 用 TensorFlow 与 XLA 加速文本生成，部分场景提速超 100 倍
Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成现可通过 XLA 编译加速，某些场景提速超过 100 倍，在多数基准中比 PyTorch 更快，最高快达 9 倍。
推荐理由：Hugging Face 官方讲解如何用 jit_compile=True 加速 TensorFlow 文本生成，给出编译缓存机制、padding 技巧和实测数据，方法可直接复用。