连载系列 连载中 更新至第 13 话 · 2026·10·05
模型为什么跑不起来?——漫画读懂 AI Infra
乐天点下 Run,屏幕只回了一行 Out of Memory。跟着乐天和阿哲、小雅、可可一起走进大模型的内部世界:参数之城、量化流水线、显存工作台、KV Cache 档案室——把「什么模型能在什么机器上跑起来」这件事,用漫画讲明白。
目录 · 共 14 话
- 大家好,我们是 AI 探索小队!
- 第 1 章 · 模型都下载好了,为什么不能跑?
- 第 2 章 · 显存工作台上摆着什么?
- 第 3 章 · 7B、32B、70B,到底是什么意思?
- 第 4 章 · 同样是 70B,为什么大小差这么多?
- 第 5 章 · 大语言模型推理时,显存为什么会增长?
- 第 6 章 · 显卡算力高,就一定跑得快吗?
- 第 7 章 · 模型已经装进显存,为什么还要不停搬数据?
- 第 8 章 · 一次提问和一次回答,GPU 干的是同一种活吗?
- 第 9 章 · GPU 明明很强,为什么还在等?
- 第 10 章 · AI"快"到底是什么意思?
- 第 11 章 · 为什么一次服务很多人,反而可能更划算?
- 第 12 章 · 推理框架到底是什么?
- 第 13 章 · 模型是怎么变成 GPU 真正执行的工作的?——算子、Kernel、Compiler 与 Runtime 最新