跳到正文

内容类型

教程实践 最新动态

拿来就能用的实操内容:提示词技巧、工作流搭建、工具用法与踩坑经验。

574 条精选近 30 天 78 条共收录 3,091 条

更新

精选归档 · 第 17 页

6月2日周二第 321–340 条
  1. Anthropic:Claude.dev 开发者博客77

    Claude Code 动态工作流详解:让 Claude 现场编写自己的 harness

    Anthropic 上周在 Claude Code 中发布动态工作流,Claude 可为任务即时编写定制 harness。工作流通过执行 JavaScript 脚本,用 agent()、parallel() 和 pipeline() 生成并协调各自拥有独立上下文窗口的 subagent,以缓解单上下文中的 agentic laziness、自我偏好偏差和目标漂移。

    推荐理由:Anthropic 员工讲解 Claude Code 动态工作流的原理、六种组合模式和适用边界,并给出 token 预算等实用技巧。

  2. Together AI 研究与产品博客61

    Together AI 解析如何高效服务 MiniMax M3:1M token 上下文与多模态推理优化

    Together AI 作为 MiniMax M3 的首选云合作伙伴,介绍了为该模型提供生产级推理服务的工程方案。M3 采用 MiniMax Sparse Attention 块稀疏注意力,使 prefilling 提速超 9x、decoding 提速超 15x,支持 1M token 上下文与原生多模态。

    推荐理由:原文由服务方工程团队拆解 MSA 的内核优化与多模态网关预处理方案,给出可参考的长上下文推理工程路径和实测吞吐提升数字。

6月1日周一
  1. OpenRouter75

    视频教程:如何构建一个每周预算上限为1000美元的智能体,包含模型拒绝列表与自定义数据保留 使用了新的、可堆叠的护栏架构: [引用 @OpenRouter]:OpenRouter 上的护栏是市场上最强大的:为您的 AI 流量提供集中式安全与治理 预算限制、ZDR、模型与提供商限制、提示词注入防御以及 DLP / 敏感信息检测,分层为您控制的规则!🧵

    引用OpenRouter@OpenRouter

    OpenRouter 上的 Guardrails 是市场上最强大的:为你的 AI 流量提供集中式安全与治理 预算限制、ZDR、模型与提供商限制、提示注入防御,以及 DLP / 敏感信息检测,分层融入你掌控的规则中!🧵

    推荐理由:如果你在跑 agent 并担心成本爆炸,OpenRouter 这个教程手把手教你设预算上限和注入防御,抄完就能上线,别再裸奔了。

5月31日周日
  1. StepFun80

    阶跃星辰发布了Step 3.7 Flash,这是一款198B参数的视觉模型,旨在DGX Spark等桌面设备上运行。用户实测表明,128GB统一内存是运行门槛,模型占用约104GB。部署无需官方专用llama.cpp分支,主线版本即可。在上下文长度上存在权衡:启用视觉功能时,基于q8 KV cache的64K为上限;若要使用最高256K上下文,则需禁用视觉并切换至q4 KV cache,此时模型与缓存共占约114GB内存。该模型是推理模型,思考过程可能消耗大量max_tokens,需注意设置。

    引用Sudo su@sudoingX

    我现在正在一台 dgx spark 上运行 stepfun 新的 step 3.7 flash。 198b 的视觉模型,跑在一台就摆在桌上的机器上。以下是如何帮你省下大约 3 小时抓耳挠腮的加载时间,因为我已经替你抓过了。 官方 README 告诉你需要 stepfun 自己的 llama.cpp fork。你不需要,主线 ggml-org 就能跑得好好的,视觉功能什么的都行,64k。别花一个小时去构建一个 fork,结果发现不用它模型也能加载。 下面这个才是真正会吃掉你一整晚的:模型占了你约 121gb 统一内存池中的 104gb,而 spark 没有 swap。请求的上下文太大,它不会干净地崩溃,而是会静默地颠簸,内核把模型页换出、再从磁盘反复读回,循环往复,而你只能盯着“loading”发呆。 判断的信号是 read_bytes。如果它涨过 104gb 的模型大小还继续涨,同时进程内存钉在 99% 且日志毫无进展,那就是卡死了。杀掉它,它不会自己恢复。 在 q8 kv cache 上加载视觉投影器时,64k 就是 128gb 机器上的上限,超过它就会在 clip loader 里颠簸,模型加上 KV 加上视觉缓冲区全都在争抢你剩下的那约 17gb。 想要完整的 256k 上下文?去掉视觉,换成 q4 kv cache,这样就能装下,121gb 里用 114gb。这就是他们 README 没有明说的取舍:大上下文是真的,只不过得用 q4 cache,而且仅限文本。 而且它是个推理模型。问它点东西,如果你得到空白回复,不是你把它弄坏了,是你把 max_tokens 设得太低,它把整个预算都花在思考上了。答案就在 reasoning_content 里。给它留点空间。 这就是那 3 小时。确切可用的参数和权重在回复里。

    推荐理由:把 198B 的视觉模型塞进一台桌面盒子,还跑通了,这本身就是个小里程碑。更关键的是,这篇实战直接帮你绕开了三个大坑,省下的三小时够你喝杯咖啡慢慢试了。

  2. Simon Willison 博客73

    在浏览器中通过 Pyodide 和 Service Worker 运行 Python ASGI 应用

    作者展示了如何在浏览器中通过 Pyodide 和 Service Worker 运行 Python ASGI 应用。此前的 Datasette Lite 使用 Web Workers,但无法执行 `<script>` 标签中的 JavaScript。新方案由 Claude Opus 4.8 协助完成开发,解决了这一问题。作者已展示了基础的 ASGI FastCGI 演示和运行 Datasette 1.0a31 的演示,并计划后续将此方法应用于升级 Datasette Lite。

    推荐理由:Simon Willison 用 Service Worker 让 Python ASGI 在浏览器里真正跑了起来,这个技巧补上了 Datasette Lite 长期缺的 JS 执行能力,搞 Pyodide 的值得看看。

5月30日周六
5月29日周五
  1. Hugging Face 社区博客71

    PyTorch 性能分析系列(一):torch.profiler 入门指南

    本文是 PyTorch profiling 系列的开篇,从最简单的矩阵乘法加偏置操作出发,逐步讲解如何使用 `torch.profiler` 进行性能分析。涵盖 profiler 设置、导出统计表格与 Chrome trace、解读 CPU 和 GPU 活动的时序关系,以及 `torch.compile` 对底层 CUDA kernel 调用链的影响。实验基于 NVIDIA A100-SXM4-80GB GPU 运行,面向基本掌握 PyTorch 但缺乏 profiling 经验的读者。

    推荐理由:PyTorch profiling 的陡峭学习曲线劝退了很多人,这篇用从零开始的方式把 trace 拆解得明明白白,想做性能优化的同学该收藏。

  2. 公众号:通义实验室64

    通义实验室发布教程:在 Android 手机部署 MCP 感知服务器

    通义实验室发布教程,演示如何在 Android 手机上部署 MCP 感知服务器,使手机具备本地视觉与听觉分析能力。核心基于端侧 MNN 推理引擎和 Qwen3-VL 2B 模型(约 1.3GB),摄像头与麦克风采集的音视频在本地实时转化为结构化 JSON,再通过 MCP Tool 供 Claude Code 等云端 Agent 远程调用。整个过程不上传原始数据,仅传输语义提取结果。项目已开源,实测可识别红绿灯状态等场景。

    推荐理由:如果你做Agent总觉得AI对物理世界是瞎子,这篇教程就是解药。把Qwen3-VL塞进手机当本地眼睛,不传原始视频只给结构化文字,隐私友好又能被Claude直接调用。

  3. LMSYS Blog61

    LMSYS与Intel合作通过异构CPU+GPU EPD架构提升视觉语言模型服务性能

    LMSYS团队(Intel与SGLang)通过Dynamo和SGLang框架,为视觉语言模型(VLM)启用了异构编码-预填充-解耦(EPD)架构。该方案将视觉编码任务从GPU卸载至CPU(如Intel Xeon 6747P),与GPU协同工作。在Qwen3-VL-8B-Instruct模型的测试中,采用4 CPU + 1 GPU作为编码器、4 GPU作为预填充解码器(能力比R=12)的配置,在ISL/OSL 128/256、1080p 8张图像的负载下,实现了P99 TTFT和请求吞吐量约1.2倍至1.3倍的提升,并将P99 TPOT降低了约1.3倍至30倍。

    推荐理由:做VLM服务部署的可以认真看一下,用CPU头节点做异构EPD分离,几乎零成本换来了TTFT和TPOT的显著提升,有完整脚本和benchmark,能直接上手试。

5月28日周四
  1. Google Developers Blog64

    社区如何利用Tunix和TPU训练Gemma学会“思考”

    Google在Kaggle举办的Tunix黑客马拉松,挑战开发者利用TPU和有限算力,将小型基础模型转变为通用推理引擎。获胜团队通过多阶段后训练流程实现了这一目标,该流程结合了监督微调(SFT)与GRPO、SimPO等先进对齐技术。比赛结果表明,社区能够借助开源资源成功训练出高能力的结构化推理模型。

    推荐理由:Google 官方比赛总结,证明用 Kaggle TPU 和开源工具就能把 Gemma 训练出不错推理能力,对想自己微调模型的小团队是个实用参考。

  2. MarkTechPost70

    pgvector驱动的语义、混合、稀疏与量化向量搜索系统构建编码指南

    本教程在Google Colab中构建一个完整的pgvector实验环境,展示PostgreSQL如何作为向量数据库服务于现代AI应用。内容涵盖安装PostgreSQL、编译pgvector扩展、通过Psycopg建立连接,并注册向量类型以实现与Python的平滑集成。最后使用SentenceTransformers创建并存储嵌入向量。

    推荐理由:这份教程把 pgvector 的稀疏向量、量化搜索等高级功能打包成 Colab 代码,用 PostgreSQL 做向量数据库的团队可以直接复制粘贴跑起来。

  3. Claude:Blog77

    使用大语言模型保障源代码安全

    本文分享了使用 Claude Opus 构建威胁模型、发现代码漏洞并进行验证、分类和修复的最佳实践。其核心流程是一个六步循环:威胁建模、沙箱隔离、漏洞发现、验证、分类和修复。作者指出,漏洞发现现在易于并行化,瓶颈已转移到后续的验证与处理阶段。以他们对开源软件的扫描为例,截至2026年5月22日已披露1,596个漏洞,其中97个已修补。指南建议结合代码库文档和专家访谈来构建准确的威胁模型,以降低误报,提升发现的可利用性。

    推荐理由:Anthropic把这套用Claude扫代码漏洞的方法全公开了,1596个已披露漏洞,验证成了最大瓶颈,安全工程师的饭碗可能要重新定义。

  4. Claude:Blog67

    AI智能体的零信任安全框架

    Anthropic 发布了针对企业部署自主 AI 智能体的安全框架,指出前沿大语言模型正将漏洞利用周期从数月压缩至数小时。部署智能体面临双重风险:基础设施易受 AI 加速攻击,且智能体自身具备自主决策与执行能力。文章提出一个三层零信任架构(基础、高级、优化级)及八阶段实施流程,并概述了提示注入、工具投毒、记忆投毒等特有威胁。

    推荐理由:当漏洞利用从数月压缩到数小时,安全架构必须同步进化。这篇框架把零信任落地到Agent场景,八阶段路线图和三级成熟度模型比泛泛的安全声明具体得多,企业安全团队值得细读。

  5. Hugging Face 社区博客72

    Reachy Mini 实现完全本地化语音交互

    Reachy Mini 机器人现可通过 `speech-to-speech` 库实现完全本地化的语音交互,无需依赖云端。该方案采用级联流水线架构,对外提供 Realtime API 兼容的 WebSocket 接口。默认组件包括 Silero VAD 用于语音活动检测、Parakeet-TDT 作为语音转文本模型、通义千问(Qwen3-TTS)作为文本转语音模型。大语言模型推荐使用 llama.cpp 运行 Gemma 4。所有数据均在本地处理,保障了隐私且无 API 费用。

    推荐理由:小众硬件的本地语音实战,但HF这套开源管线证明端到端对话已完全可用,所有组件都可自由替换,想做本地化语音助手的人可以照抄。

  6. Greg Brockman66

    OpenAI Codex 新增了“Meeting Recorder”技能。该技能可使用 GPT Realtime Whisper 端点实时转录会议并显示文本。用户可在转录过程中随时向 Codex 提问。会议结束后,会提供完整的转录内容及格式化版本。此功能基于实时 API,费用为 $0.017/分钟。相关代码与说明可在 GitHub 链接中查看。

    引用Simon Smith@_simonsmith

    你现在可以使用 Codex 实时转录会议,并在会议进行过程中向 Codex 提问! 我更新了我的新 Codex Meeting Recorder 技能,使其使用 GPT Realtime Whisper。告诉 Codex 使用该技能,它就会开始转录并在预览窗格中显示。你可以在转录生成过程中就转录内容提问。会议结束后,告诉 Codex 结束,你就会得到完整的转录文本和一个格式化版本(格式化版本还需要改进;已在我的待办清单上)。 请注意,由于这使用的是 GPT Realtime Whisper 端点,它比在会议结束时再转录更贵,每分钟 $0.017(所以一场 30 分钟的会议大约 $0.51)。我正在考虑未来添加一个本地实时选项,比如使用 Nemotron Speech Streaming。 GitHub 链接在帖子串中,还有一些说明。

    推荐理由:Greg 转发的这个 Codex 技能把实时会议转录和问答直接塞进了编辑器,0.5 美元一场会,做会议纪要的可以立刻用起来。