技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
667 条精选近 30 天 66 条共收录 4,399 条
台积电在2026Q2财报说明会上将2026年资本支出预测上调至600~640亿美元，此前预测接近560亿美元。董事长魏哲家表示，预计2028年量产的A14制程（1.4nm）开发进展顺利，移动和HPC客户兴趣强烈，将成为比2nm更大、更持久的工艺。台积电预计2026Q3合并营收446~458亿美元，2026全年美元收入增幅将超过40%。
推荐理由：台积电这次资本支出上调不是财务数字游戏，而是直接宣告了AI算力在未来三年的供给曲线，做AI硬件的同行和投资人必须正视这轮扩产。
作者分享了一套远程使用Agent的组合方案：以Codex的远程控制功能作为主力，通过ChatGPT App连接家中24小时开机的Mac Mini，同步所有开发任务、规则和Agent记忆；遇到扫码登录、图形界面操作等Codex难以处理的场景时，用网易UU远程在手机上直接操控电脑完整桌面。UU远程完全免费，支持多设备协同，无需局域网或公网配置。
推荐理由：卡兹克这套 Codex 加 UU 远程的组合，从工作流上解决了多设备协同的痛点，远程扫码的兜底用法尤其巧妙，适合不想被绑在办公桌前的 Agent 使用者。
Modal 宣布从零重写核心沙箱平台，新系统可并发运行数百万个沙箱，并演示了在 1 分钟内创建全部 100 万个沙箱，平均每秒创建约 1.85 万个。
推荐理由：原文由 Modal 工程团队亲述架构重写思路与实测数据，读者可以了解大规模沙箱系统如何绕开中心化协调的瓶颈。
北京经开区在全国率先试点运行“模型券”即时补贴平台，由京东科技集团提供技术支持。企业购买模型服务时可在京东云优惠价基础上叠加补贴，以1000元券包为例实际支付最低可降至350元，补贴比例最高达65%。平台支持多模型调用，企业完成四项线上流程即可即时抵扣，算力券补贴功能也将加快上线。
推荐理由：补贴从事后申报变为消费时自动抵扣，对现金流敏感的中小企业，降低初次调用门槛的意义大于折扣比例本身。
Tencent Hy@TencentHunyuan精选AI 评分6969我们刚刚发布了 Hy3 的 1-bit 与 4-bit 版本，这是一款旗舰级规模的 295B 模型，可在单张 GPU 上运行。👌 使用 llama.cpp 运行 Hy3，启用 MTP，即可在显著降低的硬件配置上体验强大的智能能力。🚀🚀🚀 迫不及待想看看你们会用它构建什么。 #Hy3 #Hy #GGUF #llamacpp
推荐理由：混元把295B旗舰模型压进单GPU，1-bit和4-bit版本对本地部署是个大礼包，开源社区可以动起来了。
Thinking Machines 发布通用多模态模型 Inkling，支持文本、图像和音频输入，采用 MoE 架构，总参数 975B、激活 41B、上下文窗口 1M token。
推荐理由：Modal 官方给出了 Inkling 的架构细节和 DFlash 推理实测数据，读者可以借此评估新模型的部署表现。
vLLM 宣布对 Thinking Machines Lab 的 1T 参数多模态模型 TML Inkling 提供 Day-0 支持，覆盖 thinkingmachines/Inkling-NVFP4 和 BF16 两个版本，支持文本、图像、音频输入和最长 1M token 上下文。
推荐理由：原文给出 Day-0 支持的具体性能数字、架构优化细节和精度对比，读者可以评估该模型在自己的推理工作流中的可用性。
Fireworks AI 宣布完成 15.05 亿美元 Series D 融资，估值 175 亿美元，由 Atreides Management、Index Ventures 和 TCV 领投，Nvidia、Lightspeed 等参投。
推荐理由：官方公布融资额、估值与收入规模等具体数字，可以据此了解专业化智能体推理平台的商业规模。
Google AI Developers@googleaidevs精选AI 评分7070推荐理由：Google把Gemini 3.5的语音翻译做到了近实时、保持语调，这对出海产品是个很实际的升级，实时通话翻译终于从demo走向可用。
小红书以 3 人 3 天推出内测版本，约一个月实现全员覆盖，核心是 AI Native 项目运作机制。技术选型基于 OpenClaw 二次开发，通过 Seal AI Zone 隔离集群与 NEX 沙箱解决安全，Self-GC 使输入 Token 下降 10%~15%、Auto 模式路由使成本降低 69%，并自研 LLM Wiki 三层记忆架构与 Skill Hub 生态。
推荐理由：从物理隔离到三层记忆，这套方案把 OpenClaw 定制为企业个人助理，沙箱和成本控制细节对同类实践有直接参考价值。
腾讯混元将295B参数的Hy3旗舰模型权重量化至1bit与4bit并打包成GGUF，配合llama.cpp生态，使原本需多卡集群部署的模型最少一张96GB推理显卡即可运行。1bit版将权重从598GB压缩至85.5GiB，4bit版体积169.9GiB，两张显卡可承载；量化版在长文理解、Agent与代码任务上贴近满血效果，开启MTP后解码速度提升约50%-60%。
推荐理由：将 295B 旗舰模型量化至单卡部署，1bit 版本在长文理解上仍接近满血，且提供 MTP 加速，改变了本地运行大模型的门槛与成本考量。
Inception Labs 发布 Mercury 2，称其为全球首个推理扩散语言模型（dLLM），在 NVIDIA H100 上以 1000+ token/秒并行解码，300 token 的推理链可在约 300ms 内完成，适配语音对话延迟预算。
推荐理由：官方给出扩散架构推理模型在 NVIDIA GPU 上的延迟与定价数据，语音 Agent 开发者可以据此评估是否能替换现有默认模型。
Google AI 工程师指出，使用合成随机向量数据测试向量搜索性能可能导致误导性结果。对于 HNSW 索引，合成数据构建耗时 6,601,789 毫秒，而真实数据仅需 4,174,196 毫秒，速度快 1.5 倍，因为随机向量缺乏自然聚类结构，使图索引的节点连接更难建立。
推荐理由：玩pgvector或AlloyDB向量搜索的开发者应该看看这篇，用合成数据测HNSW索引召回率可能只有3%，而真实数据超90%，附带完整SQL复现脚本。
蚂蚁集团开源 AKernel（Agent Kernel），一个将整个数据中心视为 AI 智能体可编程扩展的分布式内核。它通过统一 Python SDK 实现计算、网络和存储的编程控制，支持单机、私有 K8s 及多云（阿里云、华为云）一键部署，冷启动仅需 40 毫秒。AKernel 代码由 AI 大量贡献，并内置基于 OpenTelemetry 的全栈可观测性。
推荐理由：蚂蚁把数据中心变成 Agent 的可编程扩展，对于需要大规模弹性编排 Agent 的团队来说，比用 Kubernetes 手写 YAML 直接得多，不过目前严重依赖阿里云和华为云，通用性还差一截。
蚂蚁集团 inclusionAI 在 GitHub 开源 sandboxd，这是 AKernel 使用的 Linux 沙箱生命周期服务，通过 gRPC API 管理沙箱资源，当前基于 gVisor 运行沙箱，并计划近期开源 Kata Containers 支持。
推荐理由：蚂蚁把 AKernel 用的沙箱生命周期管理开源了，对需要安全执行代码的 AI 推理/评测场景有参考价值，但仅限底层基础设施人员，非目标受众不必深究。
DeepSeek-V4 Flash 的强化学习训练现已在 AMD Instinct MI355X GPU 上通过 Miles 框架获得支持，基于 ROCm 软件栈运行。该 2840 亿参数 MoE 模型（每 token 激活 130 亿参数）需 SGLang 进行 rollout 生成、Megatron 进行策略更新，Miles 负责异步循环与权重同步。团队解决了 SGLang 与 Megatron 间模型对齐、量化状态在线更新及多节点并行稳定性三大挑战，最终在四个八 GPU 节点上完成端到端验证：超过 100 个优化器步骤中训练-rollout 对数概率差可控，在线奖励持续提升，离线 AIME-2024 基准分数同步上涨。
推荐理由：把 DeepSeek-V4 Flash 的 RL 训练完整搬到 AMD MI355X 上，不是画饼，而是给了实测数据和可跑的配置。想用非 NVIDIA 卡做 RL 训练的，可以照着踩坑。
小红书提出 PIPO 架构，通过输入侧压缩器将两个 token 折叠为一个 latent，输出侧 MTP head 将隐藏状态展开为额外 token，实现输入长度减半、每步输出翻倍。基于 Qwen3.5-4B/9B backbone，在 AIME 2025 等基准上最高带来 +7.15 pass@4 提升。部署测评中，TTFT 加速约 1.23×，TPOT 加速约 1.86×。训练采用 SFT 和 On-Policy Distillation 两阶段，将 verifier 校验能力蒸馏进轻量 confidence head。
推荐理由：PIPO把输入压缩和输出多token预测统一起来，并且用蒸馏把验证成本前置，长推理的场景下这可能是下一代推理引擎的样子，做模型加速的应该认真看看。
Meta CEO 扎克伯格首次正面回应公司筹划云基础设施业务一事，否认“算力过剩”猜测，称内部算力需求依然旺盛、满负荷运转。但他同时表示，当前市场对算力出价极高，将部分 AI 基础设施对外出租在财务上更划算。Meta 正制定代号“Meta Compute”的云计算计划，包括开放模型访问权限和直接出租裸算力两条路线。扎克伯格还提及 SpaceX 以每月 12.5 亿美元将数据中心租给 Anthropic 的模式。Meta 2026 年资本支出指引达 1250 亿至 1450 亿美元，计划 2026 年 9 月量产自研 AI 芯片，目标 2027 年部署算力提升至 14 吉瓦。
推荐理由：扎克伯格首次确认 Meta 要做云业务，从‘自用’到‘出租’的转变很关键，这可能是 AI 基础设施从军备竞赛转向平台化的信号，做底层算力和云服务的团队有必要盯着。
美团万亿参数大模型 LongCat-2.0 正式开源，总参数 1.6T，平均激活约 48B，专为真实 Agentic Coding 任务设计。模型引入 LongCat 稀疏注意力机制与 N-gram Embedding，提升长上下文处理效率与 Token 级表示能力。LongCat-2.0 是业界首个在五万卡国产算力集群上完成推理的万亿参数模型，从模型架构、芯片适配到部署策略进行深度协同优化，支持百万上下文高效推理。开源同步提供 BF16、FP8、INT8 等多精度版本及针对国产算力极致优化的推理代码。
推荐理由：国产算力跑万亿模型的第一份完整开源答卷，代码、芯片适配细节全公开，做国产大模型落地的直接抄作业。
Sequoia 合伙人 David Cahn 更新 AI 基础设施支出估算：2026 年全球投入达 1.5 万亿美元，行业需产生 3 万亿美元收入才能回本。Anthropic 年化收入（ARR）达 600 亿美元，OpenAI 2025 年收入 130 亿美元（11 月称 ARR 200 亿美元），但缺口仍大。Apollo 首席经济学家指出，谷歌、Meta、微软、亚马逊均预测 2028 年自由现金流加速，但风险在于更多组织转向更便宜的开放权重模型（尤其中国模型），且 OpenAI 最新模型编码任务 token 效率提升 54%，导致 token 价格持续下降。若超大规模厂商现金流目标落空，可能引发经济衰退和标普 500 回调。
推荐理由：Sequoia和Apollo的经济学家同时拉响警报，AI基建支出今年1.5万亿美元，需要3万亿收入才回本。这不是唱衰，是给产品人一个倒计时，开源模型和掉价的token让这账更难算。