Claude宣布优化30多个开源模型推理速度平均提升4倍并开源全部优化代码

Anthropic 宣布，Claude 在不到四周内优化了 30 多个用于生物分子结构预测、蛋白质设计、蛋白质语言建模和基因组学等任务的开源深度学习模型，平均加速约 4 倍，在输出完全一致的情况下加速近 2 倍，同时改善了内存利用率。Anthropic 称，这些优化由两名在生物分子建模方面有经验、但此前没有推理优化或内核工程经验的技术人员监督完成；通常这类优化需要经验丰富的工程团队为每个模型花费数周，且工作往往无法在模型间迁移。

Anthropic 还称 Claude 创建了低内存“Big”模式，使开源结构预测模型能在单个 NVIDIA GPU 节点上准确预测超过 10,000 个 token 的生物分子系统，并成功对超过 70,000 个 token 的系统进行推理；Anthropic 表示，这些专用模型展现出超出其训练上下文近 1.5 个数量级的泛化能力。Anthropic 称，使用 Big 模式成功折叠的分子机器包括人类线粒体复合物 I、TRiC 伴侣复合物、蛋白酶体和细菌核糖体，且均与实验确定的结构高度吻合。

Anthropic 表示，其与 Claude 合作开发了 FlashPairformer，这是一组加速三角注意力和三角乘法的自定义内核，在三角注意力上平均比该领域标准快 2.7-2.9 倍，在三角乘法上快 1.7-3.2 倍，具体取决于模型配置。Anthropic 还称，针对单个模型的优化（如缓存重复计算的工作、将死分支简化为常量输出）使结构预测模型平均加速 4 倍，并确认加速版本未影响下游任务性能。

Anthropic 宣布今日开源全部优化代码，并公布与 Adaptyv Bio 联合赞助的蛋白质设计竞赛，提供最高 100 万美元的 Claude 积分，并对超过 5,000 个设计进行湿实验室验证。Anthropic 还提及此前曾分享 Claude 通过专家级编排开源蛋白质设计和结构预测模型来设计 de novo 蛋白质结合物的结果。