在人工智能飞速发展的当下,大语言模型成为了众多开发者和研究人员关注的焦点。Deepseek 作为一款性能卓越的大语言模型,自然也就吸引了不少人希望在本地环境进行部署使用;但本地部署并非易事,不同操作系统有着不同的部署方法和注意事项。接下来,我将为大家详细介绍在 Linux 和 Windows 系统下如何本地部署 Deepseek ,帮助你开启本地化使用 Deepseek 的探索之旅~(本文对象为初识AI的萌新小白,有点话多也请见谅!)
(一)、“优雅地”认识本地部署
本地部署,也就是在你的电脑不用联网、不用Wi-Fi的情况下依旧能对AI进行对话,这其中是有着有诸多的好处的(如了解可跳过):
(二)、“优雅地”结识Ollama
说人话:ollama相当于是一个容器(水壶,杯子),而大模型文件则相当于是水,容器承载水;没有杯子水无地方可盛,没有水一个空的杯子只能当装饰品(占你电脑内存)
(三)、“优雅地”开始正式操作:WIndow系统如何部署Deepseek?(该方法同时适用于部署qwen2.5、llama3.2、phi4、llama3.3)
1,认清“现实”
emmmm。。。开始之前,请检查一下你的硬件配置:
(图源:小白也能看懂的DeepSeek-R1本地部署指南-腾讯云开发者社区-腾讯云)
如果你说你不知道你的电脑有没有独立显卡。。。emmmm
键盘上同时按下Esc、Shift、Ctrl看看任务管理器
看GPU那一栏
博主用的是RTX 4070 Ti SUPER Neptune,参考:👀你不看 RTX 4070 Ti SUPER 绝对会后悔 – 辰汐の小站
跟博主一样(没说完全一样!)就是有独立显卡,而且是“老黄家”的显卡。
另外,如果你是集成显卡或者是AMD显卡可能有点麻烦,一般部署本地大的模型都用Nvidia独立显卡(也称“老黄家的显卡”)(CUDA),AMD显卡由于自身的原因(ROCm)可能无法正常使用(部分可能还是可以使用的,具体情况具体而定叭~)
总体而言,个人觉得嘛,只要你的配置是这个就可以稍微玩玩儿AI:
tCPU: 8n核或以上,
内存: 12GB或以上,
存储: 80GB SSD或以上(空闲内存),
GPU: 没有独立显卡或NVIDIA GTX 1080或同等性能
(在后面选择ollama run deepseek-r1:1.5b
)
另外说一句,如果你是Mac也是可以的~
平台差异说明
- Windows:
- 依赖 CUDA 和 NVIDIA 驱动,推荐使用 RTX 30/40 系列。
- 大模型(14B+)需借助量化或模型分片技术。
- macOS:
- 仅限 Apple Silicon 芯片(M1/M2/M3),依赖 Metal 加速。
- 模型规模超过 14B 时性能显著下降,建议量化或云端部署。
- Linux:
- 支持多 GPU 扩展和高效资源管理(如 NVIDIA Docker)。
- 适合部署大型模型(14B+),需专业级硬件。
等等,你想要部署671B版本的?
这是DeepSeek-R1-70B的推荐配置:
CPU:32 核及以上;
内存:128GB及以上;
硬盘:256GB及以上;
显卡:多卡并行(如 2x A100 80GB 或 4x RTX 4090);
适用场景:适合科研机构或大型企业进行高复杂度生成任务;
预计费用:400000+,这是老板考虑的,不该我去考虑。
这是天花板:DeepSeek-R1-671B
CPU:64 核及以上;
内存:512GB及以上;
硬盘:512GB及以上;
显卡:多节点分布式训练(如 8x A100/H100)(A开头的和H开头的也都是老黄家的显卡,只不过太高级、太贵);
适用场景:适合超大规模 AI 研究或通用人工智能(AGI)探索;
预计费用:20000000+,这是投资人考虑的,不该我去考虑。
总结:满血版本671B 版本 普通人基本装不了的。
所以:老老实实看上面的推荐配置吧~
2,安装ollama
官网地址:https://ollama.com/
下载地址:https://ollama.com/download
备份链接:https://github.com/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe
(推荐官网下载!)
下载完后就双击.exe文件
(自己可选安装路径)
过一会儿后,查看任务栏右下角里是否有ollama的图标:
win键+R输入cmd查看是否有ollama命令:
浏览器输入:http://localhost:11434如果显示
Ollama is running
如果你都有,跟博主一样,那么恭喜你,ollama安装完成了~
如果输入ollama发现电脑显示“‘ollama’不是内部或外部命令,也不是可运行的程序”,请再次检查一下ollama是否安装成功?重启一下电脑后重试一下安装?
3,更改ollama模型路径(非必须,可跳过,你想改就改~xianmafanjiubuyonggai)
你看,小标题拼音你都拼出来了,看起来你是不嫌麻烦(doge)
还是那句话,非必须,想换就换
ollama默认装位置在:C:\Users\XX\AppData\Local\Programs\Ollama
模型下载位置:C:\Users\XX\.ollama
(User有时候叫“用户”,XX指你的个人目录)
在我的例子中我在F盘创建Ollama文件夹,创建models子文件夹存放模型,再将上述两个文件夹移动到该文件夹下
计算机–> 右键—>属性—>高级系统设置–> 高级 –>环境变量–>Path—>右键—>新建
我这里换一个电脑演示一下~
Path变量
填入 F:\Program Files\Ollama\
退出刚刚的Path变量(记得点确定!)
自定义模型下载位置,在系统环境下新建环境变量
变量名称:OLLAMA_MODELS
进入环境变量界面后,一定要特别留意,这里有“用户变量”和“系统变量”之分,我们要选择的是“系统变量”。这一步至关重要,一旦选错,后续的设置将无法生效,所以务必仔细确认,千万不要选成“用户变量”了。
变量值填入自定义位置,我这里选择:F:\Program Files\Ollama\models(不用和我一样!和我一样的前提是你有F盘且F盘内有足够的空间!)
填完后一路确定就好,记得重启电脑!!!
4,ollama基础命令行操作
ollama -v
命令显示ollma版本号
ollma list
命令显示所有安装模型
ollama rm 模型名称
删除指定模型
现在,进入:https://ollama.com/library/deepseek-r1,选取符合你系统的模型叭~
选择参数后复制命令,粘贴到命令行里即可~
- 若选择 1.5B 版本,输入
ollama run deepseek-r1:1.5b
。 - 若选择 7B 版本,输入
ollama run deepseek-r1:7b
。 - 若选择 8B 版本,输入
ollama run deepseek-r1:8b
。 - 若选择 32B 版本,输入
ollama run deepseek-r1:32b
;我选的是这个。
如果中途突然慢了可以Ctrl+C退出一下再输入刚刚的命令(或者可以按“上”箭头键后回车)
PS:关于大型神经网络模型的参数数量
“10b”、”13b”、”70b”等术语通常指的是大型神经网络模型的参数数量。 其中的 “b” 代表 “billion”,也就是十亿。 表示模型中的参数量,每个参数用来存储模型的权重和偏差等信息。 例如: 例如:Meta 开发并公开发布的 Llama 2 系列大型语言模型 (LLM),这是一组经过预训练和微调的生成文本模型,参数规模从 70 亿 (7b) 到 700 亿 (70b) 不等。
下载完后就可以对话啦!
可以看到GPU的内存(显存)已经占了很多,这表明ollama已经成功运行了本地大模型了~
可以问问他任何一个问题:
可以看到本地大模型已经安装成功!
输入/bye
退出对话
(四)、“优雅地”开始其他操作:如何用Deepseek做se*?
你确定??
感谢阅读,如有错误请指正~
文章:Luminous辰汐
校对:雨落向晚亭