Recursive 发布首个模型 Flint：用 "自动化 AI 研究" 4 个月从零训练的本地编程 MoE，MacBook 上每秒 125+ Token

Flint 是 @Recursive_SI 的第一个模型：总参数 400 亿、每个 Token 只激活 25 亿参数的 MoE，专门用于在本地电脑上做 Agent 编程，权重以 Apache 2.0 开源。它真正的看点不只是模型本身，更在于它几乎每个环节都由公司的自动化研究系统 Eureka Machine 参与完成，被当作"AI 自己做 AI 研发"的第一次实战检验。

模型信息
· 定位：在总参数低于 500 亿的 MoE 模型里，Agent 编程能力最强（SWE-Bench Pro v2、Terminal-Bench 2.1、SWE-Bench Verified）；编程分数和 250 亿到 400 亿参数的稠密模型相当，速度快 5 倍以上。
· 速度：短上下文下，M4 Pro MacBook Pro 上每秒超过 125 个 Token，64GB 的 RTX Spark 上每秒超过 150 个，最高是同类模型的 2 倍。
· 上下文：最长 512k，官方建议控制在 256k 以内。
生态：支持 llama.cpp、Ollama、LM Studio、vLLM、SGLang、Unsloth，另外推出了针对 M4 Pro 和 M5 优化的轻量推理引擎 rec。
· 官方给的使用建议：适合当日常的本地编程模型，数据不出本机、也不用付 API 费用。复杂任务要拆小、把指令写清楚，它比大型闭源模型更需要引导。

Eureka Machine 具体做了什么
它自动跑完整个研究循环：提出想法、实现、测试，再根据结果决定下一步，并行探索多个方向，把有效的思路组合起来。在 Flint 上有三个例子：
1. 架构搜索：从总参数 350 亿、激活 30 亿的基线出发，搜索专家数量和宽度的配置，最后选定总参数 400 亿、激活 25 亿，在速度和编程能力之间取得最佳平衡。
2. 反常规的量化：通常输出层（lm_head）不做量化，它把输出层也量化到 4 bit，原因是激活参数很少时，输出层占每个 Token 读取量的比例很大。为了补回精度，它又加了一步离线蒸馏：以 16 bit 模型为老师，让量化后的模型在自己采样的精选数据上训练，训练步数几乎减半。最终 NVFP4 版本和 16 bit 版本的分差在 0.7 分以内。
3. 内核优化：为低比特投影、MoE、注意力和预填充生成专用内核；在 M4、M5 上把整个解码前向过程融合成一个 Metal 大内核。