如何用 Ollama 在本地运行 gpt-oss
OpenAI 开发者发布教程,讲解如何用 Ollama 在本地硬件上部署 gpt-oss-20b 或 gpt-oss-120b 并选择合适的推理设置。
推荐理由:来自 OpenAI 开发者官方的实操指南,读者可按步骤在自己硬件上用 Ollama 跑通 gpt-oss 两个规格模型。
内容类型
拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。
562 条精选近 30 天 76 条共收录 2,922 条
OpenAI 开发者发布教程,讲解如何用 Ollama 在本地硬件上部署 gpt-oss-20b 或 gpt-oss-120b 并选择合适的推理设置。
推荐理由:来自 OpenAI 开发者官方的实操指南,读者可按步骤在自己硬件上用 Ollama 跑通 gpt-oss 两个规格模型。
OpenAI 开发者 Cookbook 发布教程,讲解如何结合 gpt-oss 与 Hugging Face Transformers 进行微调。文章由 Edward Beeching、Quentin Gallouédec 和 Lewis Tunstall 撰写,并从大型推理模型(如 OpenAI o3)通过生成思维链提升准确性的背景切入。
推荐理由:官方 Cookbook 教程给出用 Hugging Face Transformers 微调 gpt-oss 的具体路径,适合需要本地定制推理模型的开发者参考。
Hugging Face 宣布 Parquet Content-Defined Chunking(CDC)现已在 PyArrow 和 Pandas 中可用,配合 Xet 存储层只上传或下载变化的数据块,降低 Parquet 文件传输和存储成本。
推荐理由:原文给出 CDC 在增删列、插入删除行等场景下的实测传输量对比和启用方法,读者可直接迁移到自己的数据集上传流程。
Modal 工程团队在平台上部署 NVIDIA parakeet-tdt-0.6b-v2 与 canary-1b-flash 开源 ASR 模型,对约一周(7×24 小时)ESB 基准音频做批量转写,结果比所测专有 API 快 112 倍或便宜 200 倍,且错误率略低,实现了一分钟内以 1 美元转写一周音频。
推荐理由:原文给出可复现的批量转录优化方法与端到端实测数据,读者可以据此在自己的语音转写服务中权衡成本与吞吐。
Hugging Face 发布针对 Flux.1-Dev 的 LoRA 快速推理优化教程,结合 Flash Attention 3、torch.compile 和 FP8 量化,在 H100 上实现约 2.23x 提速。
推荐理由:原文给出可复现的 Flux LoRA 推理优化配方和实测延迟数据,覆盖 H100 与 RTX 4090 两种硬件场景,方法可直接迁移到自己的部署流程。
Manus 团队成员 Yichao 'Peak' Ji 撰文分享构建 Manus 智能体的上下文工程经验,核心原则包括围绕 KV-cache 命中率设计、用 logits 遮蔽而非移除工具、把文件系统当作终极上下文、通过复述待办列表操控注意力,以及保留错误和避免少样本陷阱。
推荐理由:Manus 团队复盘构建智能体的上下文工程经验,KV缓存、工具遮蔽和文件记忆等做法可直接迁移到读者的 Agent 项目。
Hugging Face 宣布 Hub 存储后端从 Git LFS 迁移到 Xet,半年内 50 万个仓库、20PB 数据完成迁移,用户超 100 万,5 月起对新用户默认启用。
推荐理由:作者复盘了 Hub 从 Git LFS 迁到 Xet 的架构与经验,读者可借此了解大规模无感迁移的做法和后续变化。
OpenRouter 宣布其灵活模型路由支持在 Cursor 中运行月之暗面的 Kimi K2。用户可直接在 Cursor 中调用 OpenRouter 路由的模型,无需额外配置。
推荐理由:一篇将 OpenRouter 模型接入 Cursor 的实操指南,虽然已过时三百多天,但对想免配置用 Kimi K2 的 Cursor 用户仍有参考价值。
Hugging Face 发布开源 Python 库 ScreenEnv,可在 Docker 容器中创建隔离的 Ubuntu 桌面环境,用于测试和部署 GUI Agent(Computer Use)。
推荐理由:官方介绍了 Docker 化桌面环境的部署速度、双集成模式和 smolagents 用法,方便开发者按自己架构搭建桌面 Agent。
Hugging Face 团队复盘官方 MCP Server(hf.co/mcp)的开发经验,服务器开源自持 STDIO、SSE 和 Streamable HTTP 三种传输方式。
推荐理由:官方复盘远程 MCP Server 的传输选型与部署取舍,给出 Streamable HTTP 各通信模式的适用场景和真实客户端行为数据,方法可直接迁移。
Hugging Face 发文介绍如何通过 Gradio MCP Servers 为 LLM 添加新能力。Gradio 自 5.28.0 版本起支持 MCP 协议,使 Hugging Face Spaces 上数千个应用可作为 MCP 服务器使用,文章以 Flux.1 Kontext[dev] 图像编辑为例,演示了在设置中添加 Spaces Tools 并接入 Cursor 的完整步骤。
推荐理由:原文给出了把 Hugging Face Spaces 上的 Gradio 应用接入 LLM 的具体步骤,读者可以照着为自己的模型添加新能力。
Modal 团队复盘其 QArt codes 服务的工程过程,通过 evals 和推理时算力扩展将二维码扫描率提升到 95% 的 SLO,同时改善美观度并将 p95 端到端延迟控制在 20 秒内。
推荐理由:Modal 团队复盘 QArt codes 从不可扫到 95% 扫描率的工程路径,evals 构建与推理时并行扩展的方法可迁移到其他生成模型应用。
Hugging Face 发布教程,讲解如何用 Sentence Transformers 训练和微调稀疏嵌入模型,涵盖模型架构选择(Splade、Inference-free Splade、CSR)、数据集、损失函数、训练参数与评估器等组件。
推荐理由:原文系统拆解了稀疏嵌入模型的微调组件和混合检索实测数据,方法可直接迁移到自己的检索场景。
Factory 发布 Agent Native Development 方法论,主张让 agent 运行收集上下文、规划、实现、验证、提交的完整内循环,人来负责架构决策和护栏。
推荐理由:Factory 提出的 Agent Native Development 方法论给出写精确规格、验证环境和 drift 恢复的可迁移做法,适合想系统化用 agent 写代码的开发者参考。
一份当下 AI 工具的快速选用指南,聚焦目前值得使用的 AI 产品及其具体使用方法,帮助读者快速上手并选对工具。
推荐理由:AI教育专家Ethan Mollick撰写,指导读者当下如何选择和使用AI工具
Hugging Face 发布教程,讲解用 QLoRA 和 diffusers 库在单卡消费级硬件上微调 FLUX.1-dev,学习 Alphonse Mucha 画风。
推荐理由:原文给出完整训练配置、显存与耗时数据,读者可以照着在消费级 GPU 上复现 FLUX.1-dev 的 QLoRA 微调。
Claude的多智能体研究系统采用协调器-工作者架构,一个主导智能体分析用户查询并制定策略,并行调用多个专用子智能体协同工作。内部评估显示,以Claude Opus 4为主导、Claude Sonnet 4为子智能体的系统,在研究任务上比单智能体Claude Opus 4性能提升90.2%。该系统擅长处理需要同时探索多个独立方向的广度优先查询,通过分配独立上下文窗口实现并行推理扩容。但多智能体系统消耗的token量约为普通聊天的15倍,适用于任务价值足以支撑性能提升的场景,在需要高度并行化、大信息量或多工具调用的任务中表现卓越。
推荐理由:Anthropic 把 Research 背后的多智能体架构、prompt 工程和踩坑经验全抖出来了,做 Agent 的同行可以直接抄作业,尤其是『token 用量解释 80% 性能方差』这个结论,选型逻辑要变。
Hugging Face 发布 Kernel Hub 入门教程,介绍通过 kernels 库的 get_kernel 直接从 Hub 加载预编译优化内核,无需本地编译 Triton 或 CUTLASS,例如一行代码启用 FlashAttention,库会自动匹配 Python、PyTorch 和 CUDA 版本下载对应二进制。
推荐理由:官方教程给出 Kernel Hub 的用法和 RMSNorm 实测加速数据,读者可以据此评估是否用它省去本地编译内核的成本。
TensorZero 团队将自家的开源框架作为自托管代理接入 Cursor,经 Ngrok 和 Nginx 绕过 Cursor 服务器与 CORS 限制后,成功观察并控制其全部 LLM 调用。
推荐理由:作者实测把自托管代理接进 Cursor,读者可以照着复现并查看其真实提示词与模型调用。
Hugging Face 发布 Tiny Agents in Python,受 Tiny Agents in JS 启发将 huggingface_hub 客户端 SDK 扩展为 MCP Client,可用约70行代码构建 MCP 驱动的智能体。
推荐理由:原文展示了用约70行代码在Python中构建MCP智能体的完整思路与代码,读者可以据此搭建自己的工具调用智能体。