跳到正文
meng shao· @shao__meng · X·· 2 小时前AI 评分63
AI 导读

SemiAnalysis Weekly 播客 Ep. 038 全面拆解 Z AI 两个月前发布的开源模型 GLM 5.3,核心论点是架构完全不变、全部提升来自后训练,agentic 基准提升超过 2%,网络安全能力与 5.2 相比是昼夜之差。

正文 · 原文

GLM 5.3 是来自中国的 Mythos-Class 网络安全模型吗?

来自 SemiAnalysis Weekly 播客 Ep. 038:主持人 @JordanNanos,嘉宾是 SemiAnalysis 分析师 @kimbochen 与 @gao_wenyao, 他们也是「GLM 5.3 稀疏注意力如何影响 HBM 内存用量」的作者。这期播客围绕 @Zai_org 两个月前发布的开源模型 GLM 5.3,从推理性能、模型架构、后训练管线到实际用途做了全面拆解!

稀疏注意力:省的是带宽,不是容量

最核心的技术澄清:稀疏注意力(如 GLM 自第 5 代起采用的 DeepSeek DSA)与线性注意力路线不同:它不改动缩放点积注意力的核心运算,只通过 lightning indexer 之类的组件挑选“最相关的 token”参与计算。但嘉宾强调一个常见误解,稀疏注意力解决的是内存带宽瓶颈,而非容量瓶颈:token 选择过程仍要求保留全部上下文,计算时仍需载入 HBM,所以 KV cache 的容量占用并未显著减少。

真正处理容量问题的是 HiCache / HiSparse:并发升高时把 KV cache 从 HBM 卸载到容量大、带宽低的主机 DRAM,只在计算时取回最相关的部分。代价是长尾延迟增加。B200 因单芯片显存少于 B300,卸载压力反而更明显。

AMD 追平 NVIDIA:软件迭代的力量

InferenceX 基准(150 tokens/s 交互性、每百万 token 服务成本)显示了一个罕见画面:GLM 5.3 发布初期 NVIDIA 领先,几周后 AMD MI355 借助其 ATOM 推理引擎的持续优化,成本曲线反超 B200。嘉宾的解读是:硬件性能固定,而推理引擎是持续迭代的软件;AMD 工程师“连夜优化”证明了这条赛道的竞争本质。

由此引出对内存股的投资判断:当年 DeepSeek V3/R1 发布引发“高效模型 = 内存需求减少”的恐慌性抛售,节目观点恰好相反,模型越高效,并发越高、token 消耗越大(杰文斯悖论),HBM 与 DRAM 需求持续增长。结合 Rubin 世代“保带宽、砍容量”的传闻降规,嘉宾判断在推理场景中带宽优先级高于容量,因为容量不足可以靠缓存层级和计算/搬运重叠弥补,带宽才是延迟的光速极限。

“神话级”争论与网络安全能力

播客标题的出处是一条 6 月的推文:有人问“中国何时能做出 Anthropic 的 Mythos 级模型”,马斯克回答“大概 Q1”,Z AI 创始人唐杰 @jietang 回复“不会那么久”,一个月后 GLM 5.3 发布,唐杰的“时间线”胜出。

主持人的第一手体验是全场最有信息量的部分:他所在的团队参与 Anthropic 的 CVP 红队项目,但做安全攻防工作时仍会被前沿闭源模型的分类器和模型内置拒绝机制拦住,被迫回落到 GLM 5.3;而后者是开放权重、可自由下载的。5.2 到 5.3 的网络安全能力被嘉宾形容为“昼夜之差”。严格说它还不算 Mythos 级,但用嘉宾的话说“已咬住脚跟”,连 Anthropic 自己也承认接近其 Fable 级水平。

后训练管线:架构不动,全力押注后训练

GLM 5.3 与 5.2 架构完全相同,全部提升来自后训练,agentic 基准提升超过 2%。嘉宾指出 Z AI 是中国实验室中最“激光专注”后训练的一家(对比 DeepSeek、Kimi 等频繁迭代注意力架构)。其管线并不神秘,以 GRPO 为基础分阶段推进:第一阶段用同步 GRPO 换取训练稳定性;第二阶段针对 agentic 长序列下 RLVR 奖励信号稀释、policy 过期等问题切换算法变体。真正独特的是两点:SAO(单次 rollout 异步优化)回归 PPO 风格,critic 模型与 actor 共同训练;以及开源的 slime 后训练框架,被社区公认为最佳后训练基础设施设计之一。此外大量未公开细节的人工数据标注投入也被认为是关键。

嘉宾 Wenyao 称这对自己和整个行业是“警钟”:没有预算从零预训练的公司,用私有数据做后训练就能在特定领域超越部分闭源模型;他举例 Harvey 基于 Kimi 的后训练 agent、Periodic Labs 的科学后训练。

中国芯片,从第一天起

这是最具地缘政治意味的发现。GLM 5 论文明确写道:模型从第一天起就全栈适配七大国产芯片平台(华为昇腾、摩尔线程、海光、寒武纪、昆仑芯、MetaX、燧原),覆盖从底层 kernel 到推理框架。5.3 Flash 曾以 "aux alpha" 之名匿名登陆 OpenRouter,免费 token 量大到外界认为“不可能是中国公司的 GPU”,结果证实完全由中国硬件提供服务。

更进一步的证据是 Kimbo 的“阴谋论”式计算:GLM 5.X 注意力运算的算术强度约为 120,与摩尔线程 GPU 匹配而明显偏离 NVIDIA 硬件的最优点;这与 DeepSeek 当年针对 H800 做软硬件协同设计如出一辙,暗示 Z AI 在为非 NVIDIA 硬件做架构级协同设计。

对未来的判断

· 5.3 Flash(DSA + Kimi KDA 混合的架构,开发周期可能仅 2-3 个月)的成功,预示这套混合架构可能放大到旗舰尺寸,成为 GLM 6 或 5.4 的方向;
· 研发周期正被 AI 辅助 kernel 开发等手段急剧压缩;
· 市场将分化为“2-3 万亿参数的旗舰 + 极致高效的专用小模型”两层格局。

这期节目的核心论点

GLM 5.3 证明了在架构不变的前提下,激进的后训练 + 面向国产硬件的全栈协同设计,足以把一个开放权重模型推到前沿闭源模型的射程之内,尤其在闭源模型因安全拒绝而失能的网络安全领域;而模型效率的提升不会减少内存需求,反而通过杰文斯悖论持续放大它。

视频和文章链接

Ep. 038 - Is GLM 5.3 a Mythos-Class Cyber Model From China? (InferenceX)
https://www.youtube.com/watch?v=5OwUwMSkO4Y
How GLM5.3 Sparse Attention Affects HBM Memory Usage
https://newsletter.semianalysis.com/p/sparse-savings-persistent-demand-inside-glm53

引用SemiAnalysis@SemiAnalysis_
GLM 5.3’s biggest leap came from post-training alone. “GLM 5.3 was built entirely by post-training the previous model. For me, that was a wake-up call.” “Post-training is far more GPU-efficient than pre-training from scratch. Plenty of companies can’t afford to train a model from scratch, but they have proprietary data. They can post-train themselves and beat some of the closed models.” “There’s still so much juice left to squeeze from post-training. We compared GLM 5.3’s cyber capabilities with 5.2, and it’s a night and day difference. That’s all just post-training.”
在 X 查看被引用的帖子

来源:meng shao · x.com