人工智能1 分钟
AI 量化后的小模型：延迟从 800ms 到 90ms（示例）
把一次很慢的问答变快，靠的不是换卡，是把浮点换成整数。
一句话结论：先量化，再谈显卡。
记录：同一台机器，同一段提示词。
| 精度 | 内存 | 首字延迟 |
|---|---|---|
| bf16 | 4.8GB | 800ms+ |
| Q8 | 2.6GB | 240ms |
| Q4 | 1.1GB | 90ms |
答案质量几乎没掉，延迟掉了近九成。
把一次很慢的问答变快，靠的不是换卡，是把浮点换成整数。
一句话结论：先量化，再谈显卡。
记录：同一台机器，同一段提示词。
| 精度 | 内存 | 首字延迟 |
|---|---|---|
| bf16 | 4.8GB | 800ms+ |
| Q8 | 2.6GB | 240ms |
| Q4 | 1.1GB | 90ms |
答案质量几乎没掉，延迟掉了近九成。