Series Ongoing Updated to ch. 13 · 2026-10-05
Why Won't the Model Run? — Understanding AI Infra in Comics
Letian hits Run and the screen only answers: Out of Memory. Follow Letian, Azhe, Xiaoya and Keke into the inner world of large models — the city of parameters, the quantization pipeline, the VRAM workbench, the KV Cache archive — and learn, in comics, what actually decides whether a model can run.
Contents · 14 chapters
- 大家好,我们是 AI 探索小队!
- 第 1 章 · 模型都下载好了,为什么不能跑?
- 第 2 章 · 显存工作台上摆着什么?
- 第 3 章 · 7B、32B、70B,到底是什么意思?
- 第 4 章 · 同样是 70B,为什么大小差这么多?
- 第 5 章 · 大语言模型推理时,显存为什么会增长?
- 第 6 章 · 显卡算力高,就一定跑得快吗?
- 第 7 章 · 模型已经装进显存,为什么还要不停搬数据?
- 第 8 章 · 一次提问和一次回答,GPU 干的是同一种活吗?
- 第 9 章 · GPU 明明很强,为什么还在等?
- 第 10 章 · AI"快"到底是什么意思?
- 第 11 章 · 为什么一次服务很多人,反而可能更划算?
- 第 12 章 · 推理框架到底是什么?
- 第 13 章 · 模型是怎么变成 GPU 真正执行的工作的?——算子、Kernel、Compiler 与 Runtime Latest