在 2G 内存的服务器上跑自己的推理模型（示例）

一句话结论：小机器上不要跟参数量较劲，先量化，再砍上下文。

三个决定

1. 模型换 1.5B 的 Q4 版本，内存占用约 1.1GB。
2. 上下文从 32K 砍到 4K，长文本先做摘要。
3. 温度按用途调：问答 0.3，写作 0.7。

实测

• 首字延迟：90ms
• 连续对话 20 轮：内存稳定，无 OOM
• 换回 bf16：直接 OOM，结论不用再测第二次

复盘

小模型 + 好提示词，比大模型 + 烂提示词更像回事。