面壁智能解析前瞻专家调度 LES 如何让 35B MoE 在手机端侧实时无损运行
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由:原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由:原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。
推荐理由:原文给出完整微调方法和前后准确率对比,读者可在 4GB 显存上复现把 LLM 转成决策模型的流程。
OpenRouter 撰文说明 Kimi K3 是开放权重而非开源模型,Moonshot AI 以自定义 Kimi K3 License 在 Hugging Face 发布 moonshotai/Kimi-K3。
推荐理由:原文逐条拆解 Kimi K3 许可证的授权与规模化门槛,并给出 OpenRouter 调用参数和各家定价,读者可据此决定自部署还是走 API。
作者实测同日凌晨发布的 Grok 4.7 与小米 MiMo V2.6,认为 Grok 4.7 低于预期,MiMo V2.6 成为性能、价格、速度三角的当前版本答案。
推荐理由:作者亲手测试并给出价格、速度和基准对比,读者可以据此评估小米 MiMo V2.6 对自身工作流和成本的实际影响。
LangChain 发布长文,复盘自建付费媒体 Agent 的构建过程并已开源。该 Agent 运行在 Slack 中,半年内将付费渠道贡献从 0 提升至营销管线的 20%,合格线索成本(CPL)从 6 月到 8 月下降 30%。
推荐理由:LangChain 亲述自建付费投放 Agent 的架构与实测数据,五层上下文和单一运行时等经验可直接迁移到其他 Agent 工程。
Together AI 发布深度解析文章,介绍开发者从闭源模型转向开源模型所需的 AI 编码栈,提出由 Model、Inference、Gateways、Harness、Tools 组成的 MIGHT 框架。
推荐理由:原文给出开放权重模型编码栈的分层框架,读者可据此按任务选模型、按价格选供应商并保持工作流稳定。
Unsloth 宣布通过优化解码和新增 MTP 支持,让 GLM-5.3-Flash 的本地 GGUF 推理提速 1.6 至 3.4 倍,长上下文下最高达 3.3 倍。
GLM-5.3-Flash 正式发布 - 以极具竞争力的价格提供领先性能 - 原生多模态,支持 1M token 上下文窗口 - 320B-A18B 参数模型,采用 MIT 许可证发布 - 此前以 Ox Alpha 名义预览,完全运行在中国 AI 芯片上 博客:http://z.ai/blog/glm-5.3-flash 现已在所有官方平台上线: 模型权重:http://huggingface.co/zai-org/GLM-5.3-Flash API:http://docs.z.ai/guides/llm/glm-5.3-flash 编程套餐:http://z.ai/subscribe ZCode:http://zcode.z.ai/en 对话:http://chat.z.ai AutoClaw:http://autoclaw.z.ai
推荐理由:原文给出本地运行 GLM-5.3-Flash 的具体加速倍数、显存需求表和现成 GGUF 资源,方法可直接复用。
Hugging Face 博客作者基于 Surya Narreddi 的原始想法,用 TRL、OpenEnv 和 Qwen/Qwen3.5-35B-A3B 复现了让语言模型通过 p5.brush 写 JavaScript 画水彩的 RL 训练流程,所有数据集、环境、脚本和模型均开源在 Hub。
推荐理由:作者用 TRL 和 OpenEnv 完整开源复现了让编码模型画水彩的 RL 配方,含数据池、环境和三组奖励对比,可整体迁移复用。
Baseten 发文解析开源模型后训练的成本驱动因素,指出活跃参数量是 RL 后训练成本的最大来源,总参数和 KV cache 主要限制推理速度,并按成本档位推荐 DeepSeek-V4-Flash、GLM-5.2、Kimi K2.6、Kimi K2.7 Code、Nemotron-3-Super-120B 和 Qwen3 系列。选型建议关注库支持、基准表现和后训练循环成本三方面。
推荐理由:原文把后训练成本拆解为活跃参数、总参数和 KV cache 三个因素,并按成本档位比较了多款开源模型,方法可直接迁移到选型。
GLM-5.3 现已开放权重。 我们最强大的智能体编码与网络防御模型,现已开放下载、运行和定制。 权重:https://huggingface.co/zai-org/GLM-5.3 技术博客:https://z.ai/blog/glm-5.3
推荐理由:原文给出动态量化的精度与体积数据和不同位宽的硬件需求,读者可据此选择本地运行 GLM-5.3 的方案。
LangChain 发布 OpenWiki 0.4.0,通过 claims 机制把 wiki 中的每条事实断言与代码证据版本绑定,证据变化时将断言标记为过期并随后续更新验证或纠正,无需重建 wiki。评测中开启 claims 后过期断言从 3.5% 降至 0.5%,幻觉断言从 0.7% 降至 0%,同时迁移到 OKF v0.2 使页面来源与验证历史可在 OpenWiki 之外检验。
推荐理由:原文给出了 OpenWiki 用证据版本追踪让记忆自我修正的具体机制和评测数据,方法可迁移到其他 Agent 记忆系统。
本文演示如何用开源评测框架 Inspect AI 和 Harbor 评估 agent 技能,并借助 Google Sheets 和 Data Studio 进行可视化分析。
推荐理由:把技能评估拆成模型基线、技能条件与多维事实打分,让团队用同一套脚本量化技能增量,而不是凭单次演示做判断。
蚂蚁百灵与 ASystem 团队合作,用 Ling-3.0-tiny 和 AReno 在 DGX Spark 上跑通单机 Agentic RL 后训练闭环。以井字棋为最小验证任务,用 GSPO 算法训练 400 步后,rollout/rewards_mean 从约 -0.5 升至 0.4,response_len 降至约 850 tokens,工具调用与动作选择趋于稳定。
推荐理由:真正可复用的不是井字棋,而是把可复现错误、可验证反馈、本地训练和同环境复测串成的轻量后训练闭环,适合为本地小模型稳定工具调用和格式约束。
DeepSeek发布Agent产品DeepSeek Harness,核心理念“一切皆插件”,基于名为Cordis的内核,支持在Agent运行中随时更换插件并保持状态不崩,官方预设100多个一方插件。产品提供标准、PTC、极简、创造四种模式,其中创造模式可让Agent现场创造并挂载新插件实现自改造。目前为开发者预览版,GitHub已获3.7万Star。
推荐理由:文章把Harness定位为插件化基建而非单一Agent,Cordis内核的时间与空间可组合性解释了Agent如何在运行中插拔能力,这比模板本身更值得理解。
蚂蚁百灵开发者博客介绍用 AReno 在 DGX Spark 上对 Ling-3.0-tiny 做井字棋 Agentic RL 后训练,验证一条基线评测、反馈定义、后训练、同环境复测的轻量任务适配路径。
推荐理由:原文给出完整的单机 Agentic RL 后训练路径和数据与 Reward 设计细节,开发者可按教程复现并迁移到自己的任务。
AutoGPT 维护者发现,AI 智能体不会主动阅读文档,因此将指令放在 AGENTS.md 和技能文件中,并置于代码目录旁。他们通过强制 PR 模板、测试计划、CI 覆盖率门槛和 CLA 签名等门控机制,将智能体提交的 PR 从“不可用”转变为“可用但不符合路线图”。其中 CLA 签名因需浏览器和 OAuth 流程,被用作区分人类与智能体的“人类探测器”。
推荐理由:AutoGPT 的经验指出发现机制比文档完善度关键,agent 只读当前目录层级的指令,所以把 AGENTS.md 放在代码旁比继续写 wiki 更有效。
本教程基于Stanford IMDb数据集构建端到端情感分析流程,对比TF-IDF逻辑回归基线与LoRA微调的DistilBERT。模型评估涵盖准确率、macro-F1、ROC-AUC及期望校准误差,并分析置信错误、长度影响与词级遮挡显著性。最后利用未标注IMDb数据做置信度伪标注,比较半监督模型与基线,保存合并后的Transformer用于推理。
推荐理由:从 TF-IDF 基线到校准和截断分析,教程展示了评估情感模型短板的方法,可用于自己的分类项目。
独立开发者叶小叔用面壁智能开源的 VoxCPM 克隆千万粉丝网红声音,搭建 STT → LLM → VoxCPM(TTS)三段式实时对话管道,TTS 首包延迟不到 1 秒,端到端体感 2 到 3 秒。
推荐理由:案例的实践价值在于澄清了实时对话 TTS 环节的选择逻辑:中文原生支持与默认参数平衡往往优于盲目追求极致克隆,这一取舍对同类项目具直接参考。
作者整理了10个提升vibe coding体验的开源App,涵盖Mac刘海屏改造(Atoll)、窗口预览(DockDoor)、极速启动器(Raycast)、彻底卸载(Pearcleaner)、菜单栏折叠(Thaw)等工具。这些工具均为免费开源,可将重复操作压缩为快捷指令,降低试错成本。作者还提到可用Codex随时为这些开源App添加自定义功能。
推荐理由:十个工具分别针对刘海利用、窗口预览、快捷启动等细分痛点,组合后可将编程前的准备步骤压缩为几次按键或悬停。
作者开源了Leader.skill,用于将模糊的人类需求转化为Agent可独立执行数小时的目标任务书。该Skill基于“目标七问”方法论,涵盖目的、完成态、反作弊、边界等维度,并推荐用Claude Fable 5或Kimi K3规划目标,再交由GPT-5.6 Sol或GLM-5.2等模型长程执行。项目已开源。
推荐理由:卡兹克这次把“目标定义”拆成了可操作的七问框架,尤其反作弊和边界思考部分,用 Agent 干长活儿的人看一遍就能省掉 20 亿 token 的冤枉路。