全部 AI 动态

pstack is the new solid

it's easy to fall into the trap of micromanaging your agents instead of correcting the environment that shapes its behavior. pstack 0.15.9 now ships a new /correct skill: if you keep correcting agents for the same mistakes, it finds the pattern and fixes it with architecture, types, and checks. i like to imagine that commits rapidly flowing into the codebase are like a bonsai tree rapidly growing in whatever direction it pleases. what you want to do is not to give in to the chaos, but tame it intentionally with the right constraints 0.15.9 also has improvements to: • /architect: now includes instructions on designing agent friendly architecture • a new /benchmark-checklist skill based on @brendangregg's benchmarking checklist here's a prompt you can give to grok bot to start architecting a better codebase with pstack: /poteto-mode create a new Project agent to refactor and rearchitect my repo so that our architecture is more agent friendly. it should use both the /correct and /architect skill to look through past commits and find the most common pitfalls that agents fall into, whether its with code quality, performance, or bugs. if relevant you can also use the /recall skill to find past conversations for context. it should make a high level plan for me to review. it should also answer its own open questions by prototyping rather than defer to me. come back to me with a plan backed by real data. once i approve the plan, use either the stack or full autopilot playbook (ask me which i want) to execute

ban and delete most if not all code comments! agents love copying what already exists. a seemingly harmless comment explaining some temporary workaround is one of the worst viruses you can have in your codebase. like a weed it'll spread quickly as a tool for agents to quickly get their job done. before you know it, your codebase is overrun with hacks and stale comments. just one more workaround bro you can use pstack's /no-comments skill as a weedkiller. it'll seek out useless comments while keeping the ones that actually should exist (like explaining a browser quirk), and figure out how to solve them on a first principles basis here's a prompt you can try asking @bot: create a project agent that uses /poteto-mode to spawn a /swarm to use /no-comments and identify useless code comments we can prune in my repo. come back with a high level plan of which of these workarounds would be best solved by refactoring and which we can straight up delete https://x.ai/bot/plugin/9717366

https://x.com/i/article/2109541953155313664

https://x.com/i/article/2110601994578866176

Agent Evals 最常见的问题都有什么？ @LangChain 团队 @divyasan0 以 Q&A 形式分享了 Agent Evals 实践指南，把常见问题一次性回答了。她给出的可落地工程流程：从真实 trace 起步、小数据集建立基线、失败案例回流迭代、离线/在线分层评估、代码优先于 LLM 裁判、benchmark 用容器化环境验证最终状态。 QA 博客地址： https://www.langchain.com/blog/common-questions-about-agent-evals 为什么 Agent 难以测试 ？ · 输出不确定性：同一输入，多次运行结果不同； · 答案非唯一：多个不同回答都可能是正确的，无法做字符串精确匹配； · 路径自选：Agent 自己决定执行步骤，即使最终答案正确，路径也可能是“错的”（调用了不必要的工具、未经授权就行动）。 起点：从 trace 开始的最小闭环 一条清晰路径值得直接采纳： 读一批真实 trace → 选定一个行为 → 建 10–20 条小数据集 → 跑基线实验 → 之后所有改动都与基线对比。 其中最有价值的工程习惯是失败回流机制：发现一次失败 → 作为新样本加入数据集 → 改进 agent → 重跑全量。这让数据集随系统演化而增长，评估从“一次性验证”变成“持续改进的飞轮”。未上线的团队可以用内部 dogfooding 产生 trace。 离线 vs 在线：两道互补的闸门 · 离线评估（Offline）：发生在发布前、对数据集、用来测新 prompt/模型/工具防回归 · 在线评估（Online）：发生在生产环境、对真实流量 trace、用来持续监控线上质量 两者形成闭环：线上标出的失败，转化为线下的新样本。数据集组织原则也很实用，同一行为、同一组评估器的样本放一起；输入、评估器或目的不同就另建数据集，避免一个大盘子什么都装。 评估器的优先级：代码 > LLM 裁判 > 人工 · 代码评估器：确定性检查（如“价格是否低于预算”），快、便宜、零歧义，能用则必用； · LLM-as-a-judge：处理代码判不了的主观维度（如“回复是否清晰确认了航班信息”）； · 人工审核：最贵但最可靠的信号，用于抽样校准前两者； · Pairwise（成对比较）：让裁判二选一，比绝对打分更稳定。 评估对象的颗粒度也分层：单步 → 最终回复 → 完整对话 → 环境终态（如容器内记录、文件、测试是否通过）。 LLM 裁判能否信任：三条可操作建议 1. 用人工标注对照校准，调整裁判 prompt 直到两者对齐； 2. 问窄问题，“回复是否提到了每一个中转站？”远好于“这是个好回复吗？”； 3. 用二元判定或分类标签，避免 1–10 打分（数值打分的跨 run 一致性很差）。 Eval ≠ Benchmark：一个重要的概念澄清 Benchmark 本质是 “重型离线 eval”，其特殊性在于： · 任务长链路，涉及数十次工具调用； · 每个任务自带独立的容器化隔离环境； · 评分方式是检查运行后的环境状态（订票记录是否存在、代码测试是否通过），而非比对文本。 文中介绍了开源评估 harness Harbor（Terminal-Bench 的底层引擎），每个任务构建一个容器，结果记录到 LangSmith 实验。自建 benchmark 的路径：从 trace 收集任务 → 定义评分规则 → 对分数做 hill climbing（爬山式迭代优化），甚至可以做成 Karpathy 式的自动化研究循环。 线上评估的成本控制 生产流量全量打分不现实，博客给出三层降本： 1. 采样与过滤：只评估有负反馈的 trace； 2. 代码检查优先：几乎零成本； 3. 换更便宜的裁判模型：小模型裁判在 pass/fail 判定上与人类标注一致，总成本 $0.34 vs Claude Sonnet 4.6 的 $28.17（约 1/83）。对二元判定类任务，裁判模型确实不必用旗舰模型。 不必从零自建 生态已提供相当多现成件：针对幻觉、PII 泄露等常见问题的预置 LLM 评估器模板、开源 agentevals 包（针对消息和工具调用）、可从代码仓库和 trace 直接生成可运行评估的 Eval Engineering Skill、从 issue 聚类自动生成数据集和断言的 LangSmith Engine。且整个体系框架无关；支持 OpenAI Agents SDK、Claude Agent SDK，或用 @ traceable 装饰器裸接。 迁移也不必推倒重来：数据集以 CSV/JSONL 导入，pytest/Vitest 集成保留现有测试体系，已有裁判 prompt 直接粘贴复用。 两个进阶难题 多轮对话：每一轮都看似正常、整体却失败的“累积性失败”是单点评估的盲区。解法是给 trace 附上 thread ID 将各轮聚合，再挂载面向整段对话的在线评估器（如“用户是否被迫重复了自己的需求”）；离线侧则把完整对话存为样本，或用 LLM 模拟用户。 超越最终输出：复杂 agent 需要检查轨迹（消息/工具调用序列）与终态（仓库变更、测试结果）。例如编码 agent 跑完后直接在其工作环境里执行该 repo 的测试套件；这正是 Harbor + 容器化沙箱的设计动机。

让不同平台的个人 agent 相互通讯的极简方法：电子邮件！Grok Bot 先行一步，你可以给自己的 Bot 配置一个邮箱 xxx@mail.grokbot.com 这种，例如我现在要让我的 Grok Bot 和我的 Muse Agent 之间相互发指令，可以拿 Gmail 当中介，设置一个 Gmail 的别名（xxx+muse@gmail.com）给 Muse 使用，然后通过邮箱和签名来验证，最后让你的 agent 信任这个邮件地址，发消息不需要通过你确认就可以了。 现在 Gmail 就是没法 push 消息，需要每 15 分钟检查一遍新邮件，所以说消息没法即时，其它都很方便！如果想用更强大即时的方案，可以用 @turingou 同学做的服务 http://yobiru.com 👀

dots tip: ask your dot to proactively look for areas that will improve quality of your life/ work and check in with you every x hours works wonders

I use a Grok bot called Fine Print to check any contract, lease, bill, etc and it breaks down what's actually in the paperwork. It looks for hidden fees, catches things I might miss, and can even write a dispute or alternate terms. Give it a try: https://x.ai/bot/Yetb1ei_7VvPfWlYqYwAM

Debating adding a GRILL.md file to customize how /grill-me works A few benefits: 1. /grill-with-docs gets removed, you just have 'invoke the domain-modeling skill' in your GRILL.md and use /grill-me 2. Customize what you care about/get asked about during planning (security, module strategy, etc) 3. Choose whether you want to be grilled one at a time or all together People seem really, really reticent to actually edit the skill themselves, so this seems sensible to me.

CS 329Z: Engineering AI Agents Stanford / Fall 2026 @stanfordnlp https://cs329z.stanford.edu/ 课程定位：从"模型"到"系统"的工程学 覆盖：简单 LLM 流水线 → 复合 AI 系统 → 自主 Agent。三位讲师的背景也高度互补： @Diyi_Yang（斯坦福 NLP 教授，人机交互与社会计算方向） @michaelryan207（DSPy 核心贡献者，自动评估 AutoMetrics 作者） @jyangballin（SWE-agent / SWE-bench / SWE-smith 作者，软件工程 Agent 领域最重要的研究者之一） # 课程主线：三大工程挑战 贯穿全课的三个核心问题——分解（decomposition）、数据（data）、评估（evaluation）。11 周的内容基本围绕这三条线展开，可以分为五个模块： 模块 1：构建基元（Week 2–3） · LLM 作为构建材料：API/SDK（litellm）、结构化输出、约束生成、解码策略、test-time compute、上下文工程、模型选型与成本/延迟权衡 · RAG：embedding、向量库、分块策略、混合检索、cross-encoder 与 ColBERT 后期交互 · 工具调用：函数调用 API、MCP（Model Context Protocol）、工具设计、代码沙箱、错误处理与重试 模块 2：框架与设计模式（Week 3–5） · 框架层：DSPy（signature / module / optimizer）、LangChain/LangGraph、LlamaIndex，重点是"框架抽象了什么 vs. 你手写了什么" · 设计模式：workflow vs. agent 的分类学，五种可组合 workflow 模式，ReAct / plan-and-execute / reflection，"scaffold（脚手架）本身就是设计决策" · 记忆架构：短期/长期记忆、记忆作为工具动作、文件系统作为外化记忆、跨 Agent 记忆（MemGPT、Mem0、Generative Agents） · 多 Agent 系统：编排模式、handoff 与状态传递，以及一个很有态度的对照阅读——既读 AutoGen，也读《Why Do Multi-Agent LLM Systems Fail?》和 Neubig 的《Don't Sleep on Single-agent Systems》 模块 3：优化（Week 5） · 从提示词到微调的全景：GEPA、MIPROv2、OPRO、TextGrad（提示优化）；LoRA/QLoRA、蒸馏、RLHF/DPO（权重优化）；test-time scaling（推理算力） · 核心问题是决策框架：什么时候优化 prompt、什么时候优化 weights、什么时候堆推理算力 模块 4：数据与评估（Week 6–8）——最有分量的部分 · 数据：trace、demonstration、feedback 三类数据；训练数据 vs. 评估数据；数据飞轮；合成数据；从 Agent 轨迹构建数据集（SWE-smith） · 评估基础：为什么 eval 难；4 元组框架（request / environment / stopping criteria / scorer）；好 benchmark 的性质；tinyBenchmarks · 评估基础设施：三类 grader、LLM-as-judge 的 prompt 设计与已知偏差、pairwise vs. pointwise、非确定性指标 pass@k vs. pass^k、harness 设计 模块 5：安全与前沿（Week 8–11） · 安全：工具访问的隐私风险、prompt injection（含间接注入）、红队、沙箱与权限模型、输出护栏、human-in-the-loop · Coding Agent：SWE-agent、Claude Code、OpenHands 的端到端架构对比 · 主动式 Agent：从 reactive 到 proactive，General User Models（GUM）、Next Action Prediction，以及"Agent 何时应主动、何时应等待"的 mixed-initiative 问题 · 开放问题：多模态/web/计算机使用 Agent、科学 Agent、长时运行架构、生产可观测性（tracing、monitoring、成本管理） # 作业设计：一手建、一手评 HW1：从零构建 Agent 系统（10%） 给定论文库，构建能检索并推理回答科学问题的 Agent。 · Part A：只用 litellm 手写 RAG + 工具调用 + ReAct 式 Agent 循环 · Part B：用 DSPy 重建关键组件，并反思框架抽象了什么 HW2：评估一个 Agent（10%） 给定一个预构建 Agent，设计完整评估套件：代码型 grader、至少一个 LLM-as-judge、用 4 元组框架构建 benchmark 任务、错误分析。

I just told bot literally "go do this for me" this was the result

here's how to make a cozy fishing game solo with Claude Opus 5.5 + Blender + 3D AI + Unity 6... the trick is giving every tool one job, but there's a smart way to set it up: - step 1: generate every 3D model with Tripo Smart Mesh P2: palms, rocks, the pier, the boat, the hut, the character - step 2: connect Claude Code to Blender through MCP - step 3: Opus 5.5 sets up each model in Blender: scale, pivots, materials, clean export - step 4: Opus animates in Blender too: the character's walk, the cast, the rod, the boat on the water - step 5: bring everything into Unity 6 and build the world: forest, river, waterfall, beach, pier - step 6: add the systems one at a time: walking, fishing, bait choice, a time of day - step 7: play it after every step and fix one thing at a time who does what: > Tripo: the 3D models > Opus 5.5 + Blender: setup and animation > Unity 6: the world and the game one person, one stack, one game you'd actually want to play

I'm a newcomer to @poteto's plist; But it seems to me that there is some very significant wisdom encoded in there. I suspect you could teach a master class on the principles.