# AI的微型钢厂

- 来源：Tomer Tunguz 博客（VC 分析）
- 作者：Tomasz Tunguz
- 发布时间：2026-06-05 08:00
- AIHOT 分数：68
- AIHOT 标记：精选
- AIHOT 链接：https://aihot.news/items/cmq15ezdt0cn9sltrl1ad2e8n
- 原文链接：https://www.tomtunguz.com/using-local-ai-to-work-faster

## 精选理由

Tunguz 把自己 78% 的 AI 任务都挪到本地跑，吞吐量涨了 25%，延迟降了 60%。mini-mill 的类比把端侧 AI 的颠覆逻辑讲得比任何行业报告都清楚，做工作流自动化的值得细读。

## AI 摘要

作者通过技能蒸馏将78%的AI工作交由Mac本地模型处理，仅复杂任务发往云端。智能体自动分类任务：简单任务本地数秒完成，复杂任务路由至云端。过去一周本地处理峰值达88%。双车道设计使吞吐量提升约25%，平均任务时长从47秒降至19秒，队列等待时间从73秒降至4秒（降幅94%）。该模式类比Nucor小钢厂，每台能运行蒸馏模型的边缘设备都成为小型AI工厂，仅对那1/5困难任务支付云费用。未来几年，数以千万计的此类设备将在企业内部增殖，逐步取代现阶段云厂商账单上的大部分工作负载。

## 正文

简而言之：通过一个小型端侧分类器对后台 AI 工作进行路由，只把最难的任务发送到云端，从而在单台 Mac 上实现吞吐量三倍提升并清空队列。

我桌上的笔记本电脑现在处理了我 78% 的 AI 工作，其余部分发送到云端。这一转变源于我的技能蒸馏工作。

以下是它的工作原理。

我在 Asana 中创建任务。一个智能体看到该任务：日程安排、邮件分类、调研、CRM 更新；并将其分类为简单或困难。如果任务简单直接，Mac 上的本地模型会在几秒内处理完毕。如果任务复杂，同一个模型会将其路由到云端模型。

在过去七天里，每日峰值达到了 88%。

随着工作负载增长，双通道设计的优势显现出来。吞吐量跃升了约 25%，平均任务时长从 47 秒降至 19 秒，队列等待时间从 73 秒降至 4 秒。工作本身没有任何变化。只是小而快的任务不再排在大而慢的任务后面等待了。

使用蒸馏技能的任务工厂现在运转顺畅，吞吐量提升了 25%，队列等待时间下降了 94%，系统响应速度也大幅提高。目前，云端处理最难的那五分之一。Mac 处理其余部分。

这就是智能体工作的迷你钢厂。Nucor 的迷你钢厂1起步时规模小、资本投入轻、贴近需求；在一代人的时间内，它们就包抄了综合钢铁巨头。

每一台内存足以承载蒸馏模型的手提电脑、手机和边缘设备，都会成为它自己的迷你钢厂：在本地路由，只对困难的那五分之一按云端费率付费。未来几年内，数以千万计的这类设备将在企业内部激增，每一台都在悄然吸收如今会出现在超大规模云厂商账单上的大量工作。

Nucor 起步于 20 世纪 60 年代，它用电弧炉熔化废钢，而不是在巨型综合高炉钢厂中冶炼铁矿石。每座迷你钢厂的规模和成本都只是综合钢厂的一小部分，选址靠近区域需求，并依靠灵活、成本更低的劳动力运转。综合钢厂曾对迷你钢厂不屑一顾，认为它们只适合生产螺纹钢这类低端产品。在接下来的三十年里，Nucor 向上游市场进军，进入薄板钢和结构梁领域，到 2014 年已成为美国最大的钢铁生产商，而大多数综合钢铁巨头（Bethlehem、LTV、National）都已破产。Clayton Christensen 将这个故事用作《创新者的窘境》中颠覆性创新的经典案例。↩︎