该来源未收录可展示正文，站内仅提供摘要。
阅读原文（在新标签页打开）OpenArch：从零手写现代 LLM 架构的 PyTorch 实现
AI 导读
OpenArch 用 PyTorch 从零手写实现现代开源 LLM 架构，每个架构一个可读文件，覆盖 GPT-2 XL、Llama 2/3、DeepSeek R1、Gemma 3、Llama 4 Maverick、Qwen 3、Kimi K2、GLM 4.5、GPT-OSS 等，并标注参数量、归一化、位置编码、注意力与 MoE 选择。
Hacker News：AI 热帖
49
AI 编辑部评分，满分 100OpenArch：从零手写现代 LLM 架构的 PyTorch 实现
OpenArch 用 PyTorch 从零手写实现现代开源 LLM 架构，每个架构一个可读文件，覆盖 GPT-2 XL、Llama 2/3、DeepSeek R1、Gemma 3、Llama 4 Maverick、Qwen 3、Kimi K2、GLM 4.5、GPT-OSS 等，并标注参数量、归一化、位置编码、注意力与 MoE 选择。