Ollama 本地跑大模型怎么起步

本地跑大模型的价值有两个：数据不出本机，以及断网也能用。代价是模型能力通常弱于云端旗舰，速度取决于你的显卡。

安装

1. 到 Ollama 官网下载对应系统的安装包，Windows、macOS、Linux 都有。
2. 安装后在终端执行 ollama --version 确认可用。
3. 拉取模型：ollama run qwen2.5:7b，首次会自动下载几个 G。
4. 下载完成后直接进入对话界面，输入问题即可。

怎么选模型规模

• 8G 显存：7B 或 8B 的量化版本，日常问答和写作够用。
• 12G 到 16G 显存：14B 级别，中文和逻辑明显更好。
• 24G 显存：32B 量化版，接近可用生产力。
• 没有独显：只能用 CPU 跑小模型，速度慢，体验有限。

性能预期要现实

• 7B 模型在消费级显卡上大约每秒十几到几十个 token，比云端慢但不影响阅读。
• 上下文越长越吃显存，长文档处理会明显变慢。
• 量化版本（Q4）能省一半显存，质量损失可接受，是家用首选。

能用来做什么

• 处理不方便上传云端的文档：合同、内部资料、个人笔记。
• 做简单的文本分类、摘要、改写。
• 配合本地工具做代码补全（需另配编辑器插件）。
• 学习模型原理，做提示词实验。

不适合做什么

• 复杂推理和长链路任务，小模型容易跑偏。
• 需要最新信息的查询，本地模型没有联网能力。
• 多模态任务，除非专门拉取视觉模型。

常见问题

显存不够会怎样？

模型会部分转到内存和 CPU，速度骤降但不报错。看到「每秒一两个 token」就是这种情况。

能对外提供服务吗？

Ollama 默认在 11434 端口提供 API，局域网可访问。要暴露到公网必须加鉴权和反向代理。

一句话总结：先按显存选模型规模，用 Q4 量化版起步，把它当成「隐私优先的轻量助手」而不是云端模型的替代品。