人工智能1 分钟

本地跑大模型的最小配置清单(示例)

显卡不是第一约束,内存和量化方式才是。

一份可以直接照着抄的清单在「下载站」,包含:

  • 常见精度的内存占用对照
  • 上下文长度的建议值
  • 首字延迟的测量方法
去下载站拿现成文件