为什么要搞“本地部署”?
在ChatGPT、Claude、DeepSeek如此强大的今天,为什么还要费劲在自己电脑上跑模型?无非下面三个理由:
数据隐私安全:你的代码、公司文档、私人日记不需要上传到云端,所有推理过程都在本地上完成,断网也能用。
无限制的自由:没有API调用次数限制,没有Token计费,模型想跑多久跑多久。
硬件性能压榨:刚买的RTX 40/50系显卡如果不跑跑大模型,岂不是浪费了显存?
随着DeepSeek-R1、Qwen2.5等高性能开源模型的爆发,越来越多的开发者和用户希望在本地电脑上运行AI大模型。本地部署不仅能保护隐私数据,还能充分利用本地显卡算力,实现无延迟、无Token限制的自由对话。
目前本土较火的开源模型当属DeepSeek-R1系列和阿里通义千问Qwen系列。接下来,我们看看如何把它们装进电脑里。
本文将提供两种主流的本地部署方案:
进阶方案(Ollama):适合有一定技术基础、习惯命令行操作的开发者。
小白方案(DS本地部署大师):适合新手及不想折腾环境的用户,支持一键安装、自定义路径。
方案一:Ollama
如果你熟悉 Linux命令,或者是一名开发者,Ollama是目前业界最标准的轻量化运行框架。
工具简介
Ollama 是一个开源的大模型运行工具,它简化了模型下载和运行的流程,支持macOS、Windows和Linux。它的优点是社区生态极好,支持Docker部署,且API兼容性强。
安装部署流程
1️⃣. 安装 Ollama 核心程序
访问官网:前往 Ollama 官方网站(建议使用 Chrome 浏览器)。
下载安装包:点击 “Download” 按钮,选择 Windows 版本。
运行安装:双击下载好的 OllamaSetup.exe。
注意:Ollama 在 Windows 上默认是“静默安装”,它会自动安装到系统盘,并在右下角系统托盘显示一个“羊驼”图标。
2️⃣. 更改模型存储路径(关键步骤)
避坑指南:默认情况下,Ollama 会将模型存放在
C:\Users\用户名\.ollama\models。为了防止C盘报废,建议在拉取模型前修改路径:
在桌面右键点击“此电脑” -> “属性” -> “高级系统设置” -> “环境变量”。
在“用户变量”或“系统变量”中新建一个变量:
变量名:OLLAMA_MODELS
变量值:你想要存放模型的路径(例如 D:\AI_Models\Ollama)。
保存后,重启 Ollama 程序(在右下角退出后再打开),设置才会生效。
3️⃣. 使用命令行拉取并运行模型
Ollama 本身没有图形化界面,所有的模型操作都需要在终端(CMD 或 PowerShell)中完成:
打开终端:按下 Win + R,输入 cmd 并回车。
拉取模型:
根据你的显存大小,选择合适的模型。输入以下命令并回车:
型。输入以下命令并回车:
# 拉取 DeepSeek-R1 7B 版本(最推荐的入门尺寸)
ollama pull deepseek-r1:7b
注:7B 模型约占用 4.7GB 空间。
运行对话:
下载完成后,输入运行命令:
ollama run deepseek-r1:7b
此时,你可以在终端直接输入问题与 AI 交流。
4️⃣. 进阶:如何获取图形化交互界面?
如果你不习惯在黑框框里打字,Ollama 只是一个“后端”,你还需要搭配一个“前端”界面。目前最流行的是 Open WebUI(原 Ollama WebUI):
安装 Docker:你需要先安装 Docker Desktop。
运行容器命令:
在终端输入以下代码,即可在本地浏览器通过 http://localhost:3000 访问类似 ChatGPT 的界面:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
5. Ollama 常用命令速查表
| 常用操作 | 命令 |
|---|---|
| 下载模型 | ollama pull[模型名] |
| 直接运行对话 | ollama run [模型名] |
| 列出已安装模型 | ollama list |
| 删除特定模型 | ollama rm [模型名] |
| 查看运行状态 | ollama ps |
尽管 Ollama 功能强大,但它对普通用户仍有几道坎:路径繁琐、模型下载需自备网络环境、需要额外折腾 WebUI。
方案二:DS本地部署大师
如果你不想处理Python环境报错,不想面对黑漆漆的命令行,或者单纯担心C盘空间不足,那么 DS本地部署大师 是目前比较适合Windows用户的解决方案。
这款工具主打“开箱即用”,彻底解决了环境配置和硬件适配的难题:
一键安装,环境零配置
集成了运行所需的所有环境,无需安装 Python,无需配置 CUDA/cuDNN。下载安装包 -> 双击运行 -> 搞定。
自定义安装路径
这是很多 Windows 用户的刚需。安装时支持选择非系统盘(如D盘、E盘),有效避免C盘空间,保障系统运行流畅。
模型库全覆盖
软件支持目前主流的开源模型,包括:
DeepSeek 全系:R1 (1.5B/7B/8B/14B/32B/70B/671B)、V3、V2.5 等。
通义千问 Qwen 全系:Qwen2.5 (1.5B-72B)、Qwen3 (1.7B-32B) 等。
其他:MiniCPM V-8B 等多模态模型。
这是该工具区别于传统本地部署的一大亮点。它不仅仅是一个本地加载器,还是一个聚合AI终端:
本地 + 在线双修:
如果你本地显卡跑不动70B的大模型,可以一键切换到在线模式,接入DeepSeek、豆包、文心一言或通义千问在线模型。
实战教程:3 分钟跑通 DeepSeek-R1
下面演示如何使用DS本地部署大师快速搭建你的私人AI。
第1步:下载与安装
下载软件安装包后双击运行。
第2步:选择并下载模型
打开软件,进入“模型管理”界面。你会看到支持的模型列表,以及对应推荐硬件配置。
显卡配置建议(简单科普):
如果你是集成显卡/轻薄本:推荐下载 DeepSeek-R1-1.5B 或 Qwen2.5-1.5B。
RTX 3060 / 4060 / 5060 (8G 显存):推荐 DeepSeek-R1-7B 或 8B 版本,这是目前性价比最高的选择。
RTX 3090 / 4090 / 5090 (24G以上 显存):可以尝试 DeepSeek-R1-32B 或 Qwen2.5-32B,效果更强。
点击右侧的“一键下载”,软件会自动处理下载、校验和加载,无需任何手动操作。
第3步:开始对话
此时你已经拥有了一个完全运行在本地的AI助手!尝试问它一个问题:
“请帮我写一段 Python 贪吃蛇代码”
“分析一下这份日报的逻辑漏洞”
你会发现,生成速度取决于你的本地显卡性能,且无需担心数据外泄。
最后是给大家的总结和建议
如果你是极客/开发者:需要在这个基础上做二次开发,或者习惯在Linux服务器上操作,Ollama 依然是强大的底座。
如果你是普通用户/办公党:只想快速用上DeepSeek提升效率,不想在环境配置上浪费时间,DS 本地部署大师 是也是一个不错的选择。
本地部署的魅力在于“折腾”后的成就感。无论选择哪种方案,从今天起,你就拥有了属于自己的私人 AI 算力中心。
4241