# Google 论文：小量化 LLM 冷启动瓶颈在模型加载

- 来源：Rohan Paul (@rohanpaul_ai)
- 发布时间：2026-09-24 06:28
- AIHOT 分数：48
- AIHOT 链接：https://aihot.news/items/cmueos1z60dvdroyn7frvlf86
- 原文链接：https://x.com/rohanpaul_ai/status/2102887957124506044

## AI 摘要

Google 新论文指出，对于部署在无服务器 CPU 上的小型量化 LLM，55–70% 的冷启动延迟仅仅来自模型加载。也就是说，瓶颈往往在于搬运模型权重，而非生成 token。

推理本身的问题，还不如把模型加载进内存来得大。

给同一个模型分配 8 GB 的 Cloud Run 内存而非 4 GB，可解锁约 2 倍的 CPU，使热推理时间几乎减半。

## 正文

New Google paper shows for small quantized LLMs on serverless CPUs, 55–70% of cold-start latency is just model loading.
i.e. the bottleneck is often moving model weights, not generating tokens.

The inference itself is less of the problem than getting the model into memory.

Giving the same model 8 GB of Cloud Run memory instead of 4 GB unlocks roughly 2× the CPU, cutting warm inference time almost in half.