辰汐の小站

AI

一、如何“优雅地”本地部署Deepseek?——(Ollama for Windows)


在人工智能飞速发展的当下,大语言模型成为了众多开发者和研究人员关注的焦点。Deepseek 作为一款性能卓越的大语言模型,自然也就吸引了不少人希望在本地环境进行部署使用;但本地部署并非易事,不同操作系统有着不同的部署方法和注意事项。接下来,我将为大家详细介绍在 Linux 和 Windows 系统下如何本地部署 Deepseek ,帮助你开启本地化使用 Deepseek 的探索之旅~(本文对象为初识AI的萌新小白,有点话多也请见谅!)

(一)、“优雅地”认识本地部署

本地部署,也就是在你的电脑不用联网、不用Wi-Fi的情况下依旧能对AI进行对话,这其中是有着有诸多的好处的(如了解可跳过):

1,首先就是数据隐私与安全:敏感数据在本地环境处理,无需传输至云端等外部环境,降低数据泄露风险,满足医疗、金融、政府等对数据安全和隐私要求严格的行业需求,符合相关数据合规规定:假设一家银行有大量客户的金融交易数据,包括账户余额、转账记录等。若将处理这些数据的 AI 大模型部署在云端,数据传输过程就像把装满现金的箱子在公开道路上运输,存在被不法分子盯上、数据被盗取的风险。而本地部署如同把现金锁在银行自家坚固的金库里,只有银行内部人员能在安全可控的环境下处理,大大降低数据泄露的可能性,保障客户隐私。
2,其次大模型支持定制化与灵活性:什么是定制化呢?就是我们可以依据自身业务需求、特点对模型进行深度定制和优化,如调整参数、重新训练等,使其更好适配特定场景,提升模型在业务应用中的效果。就以一家电商公司为例,它想通过 AI 大模型为用户推荐商品。云端模型可能是通用的推荐方式,类似给所有顾客都发千篇一律的促销传单。但本地部署后,电商公司可以根据自己平台上用户的浏览习惯、购买历史等独特数据,对模型进行调整。比如,若发现很多用户喜欢购买复古风格的服装,就可以让模型更侧重推荐这类商品,就像为每个顾客量身定制专属的购物指南。
3,同时可以低延迟响应:避免网络延迟影响,对于实时性要求高的应用(如在线客服、实时翻译等),能快速给出响应,提供更流畅、高效的交互体验。
4,AI模型甚至可以自主掌控:用户对模型拥有完全控制权,包括自主决定模型的升级、维护、调整等,减少对第三方云服务的依赖,在模型更新迭代、故障处理等方面更具自主性;就像搭乘别人驾驶的车,路线不由自己决定。而本地部署相当于自己买车,公司可以自主决定何时升级模型、如何调整功能,能更好地适应自身产品的发展节奏。
5,性能与成本:在频繁进行推理的场景下,本地部署可能具备更好性能。从长期来看,若企业有足够的硬件资源和技术能力,相比持续使用云服务,本地部署可降低服务成本支出。
(感觉跟咱们凡人木多大关xi~)
6,最后最好的就是可以离线使用:部分场景下无需联网即可使用大模型,在网络不稳定或无网络环境中仍能正常工作,保障业务连续性。就比如本地部署可以把你的个人资料放在本地处理而非在云端(嘿嘿。。。懂得都懂)

(二)、“优雅地”结识Ollama

Ollama 是一个开源的、支持在本地运行的大语言模型管理器。它允许用户在自己的设备上下载和运行各种大语言模型,无需依赖外部的云服务。这不仅保障了数据的隐私性,还能在一定程度上降低使用成本,并且在网络不稳定的情况下依然可以正常使用。
Ollama 具有诸多显著特点。它的架构设计极为灵活,能够适配不同硬件配置的设备,无论是普通的个人电脑,还是具备高性能计算能力的服务器,都能充分发挥其优势。在模型支持方面,Ollama 堪称丰富,涵盖了从基础的文本生成模型,到针对特定领域如医疗、金融、科研等进行优化的专业模型。这使得它的应用场景极为广泛,无论是日常办公中的文案撰写、创意构思,还是专业领域的数据分析、学术研究,Ollama 都能提供有力支持。
从技术原理上看,Ollama 利用先进的模型压缩和优化算法,有效减少了模型运行时对硬件资源的占用,同时通过高效的内存管理和并行计算技术,大幅提升了模型的推理速度,从而让用户在本地设备上也能享受到快速、流畅的 AI 交互体验。
说人话:ollama相当于是一个容器(水壶,杯子),而大模型文件则相当于是水,容器承载水;没有杯子水无地方可盛,没有水一个空的杯子只能当装饰品(占你电脑内存)

(三)、“优雅地”开始正式操作:WIndow系统如何部署Deepseek?(该方法同时适用于部署qwen2.5、llama3.2、phi4、llama3.3

1,认清“现实”

emmmm。。。开始之前,请检查一下你的硬件配置:

(图源:小白也能看懂的DeepSeek-R1本地部署指南-腾讯云开发者社区-腾讯云

如果你说你不知道你的电脑有没有独立显卡。。。emmmm

键盘上同时按下Esc、Shift、Ctrl看看任务管理器

看GPU那一栏

博主用的是RTX 4070 Ti SUPER Neptune,参考:👀你不看 RTX 4070 Ti SUPER 绝对会后悔 – 辰汐の小站

跟博主一样(没说完全一样!)就是有独立显卡,而且是“老黄家”的显卡。

另外,如果你是集成显卡或者是AMD显卡可能有点麻烦,一般部署本地大的模型都用Nvidia独立显卡(也称“老黄家的显卡”)(CUDA),AMD显卡由于自身的原因(ROCm)可能无法正常使用(部分可能还是可以使用的,具体情况具体而定叭~)

总体而言,个人觉得嘛,只要你的配置是这个就可以稍微玩玩儿AI:

tCPU: 8n核或以上,
内存: 12GB或以上,
存储: 80GB SSD或以上(空闲内存),
GPU: 没有独立显卡或NVIDIA GTX 1080或同等性能

(在后面选择ollama run deepseek-r1:1.5b)

另外说一句,如果你是Mac也是可以的~

平台差异说明
  1. Windows
    • 依赖 CUDA 和 NVIDIA 驱动,推荐使用 RTX 30/40 系列。
    • 大模型(14B+)需借助量化或模型分片技术。
  2. macOS
    • 仅限 Apple Silicon 芯片(M1/M2/M3),依赖 Metal 加速。
    • 模型规模超过 14B 时性能显著下降,建议量化或云端部署。
  3. Linux
    • 支持多 GPU 扩展和高效资源管理(如 NVIDIA Docker)。
    • 适合部署大型模型(14B+),需专业级硬件。

等等,你想要部署671B版本的?

这是DeepSeek-R1-70B的推荐配置:

CPU:32 核及以上;

内存:128GB及以上;

硬盘:256GB及以上;

显卡:多卡并行(如 2x A100 80GB 或 4x RTX 4090);

适用场景:适合科研机构或大型企业进行高复杂度生成任务;

预计费用:400000+,这是老板考虑的,不该我去考虑。

 

这是天花板:DeepSeek-R1-671B

CPU:64 核及以上;

内存:512GB及以上;

硬盘:512GB及以上;

显卡:多节点分布式训练(如 8x A100/H100)(A开头的和H开头的也都是老黄家的显卡,只不过太高级、太贵);

适用场景:适合超大规模 AI 研究或通用人工智能(AGI)探索;

预计费用:20000000+,这是投资人考虑的,不该我去考虑。

总结:满血版本671B 版本 普通人基本装不了的。

所以:老老实实看上面的推荐配置吧~

2,安装ollama

官网地址:https://ollama.com/

下载地址:https://ollama.com/download

备份链接:https://github.com/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe

(推荐官网下载!)

下载完后就双击.exe文件

(自己可选安装路径)

过一会儿后,查看任务栏右下角里是否有ollama的图标:

 

win键+R输入cmd查看是否有ollama命令:

浏览器输入:http://localhost:11434如果显示

Ollama is running

如果你都有,跟博主一样,那么恭喜你,ollama安装完成了~

如果输入ollama发现电脑显示“‘ollama’不是内部或外部命令,也不是可运行的程序”,请再次检查一下ollama是否安装成功?重启一下电脑后重试一下安装?

 

3,更改ollama模型路径(非必须,可跳过,你想改就改~xianmafanjiubuyonggai)

你看,小标题拼音你都拼出来了,看起来你是不嫌麻烦(doge)

还是那句话,非必须,想换就换

ollama默认装位置在:C:\Users\XX\AppData\Local\Programs\Ollama

模型下载位置:C:\Users\XX\.ollama

(User有时候叫“用户”,XX指你的个人目录)

在我的例子中我在F盘创建Ollama文件夹,创建models子文件夹存放模型,再将上述两个文件夹移动到该文件夹下

计算机–> 右键—>属性—>高级系统设置–> 高级 –>环境变量–>Path—>右键—>新建

我这里换一个电脑演示一下~

Path变量
填入 F:\Program Files\Ollama\

退出刚刚的Path变量(记得点确定!)

自定义模型下载位置,在系统环境下新建环境变量
变量名称:OLLAMA_MODELS

进入环境变量界面后,一定要特别留意,这里有“用户变量”和“系统变量”之分,我们要选择的是“系统变量”。这一步至关重要,一旦选错,后续的设置将无法生效,所以务必仔细确认,千万不要选成“用户变量”了。

变量值填入自定义位置,我这里选择:F:\Program Files\Ollama\models(不用和我一样!和我一样的前提是你有F盘且F盘内有足够的空间!)

填完后一路确定就好,记得重启电脑!!!

4,ollama基础命令行操作

ollama -v命令显示ollma版本号

ollma list命令显示所有安装模型

ollama rm 模型名称 删除指定模型

 

现在,进入:https://ollama.com/library/deepseek-r1,选取符合你系统的模型叭~

选择参数后复制命令,粘贴到命令行里即可~

  • 若选择 1.5B 版本,输入 ollama run deepseek-r1:1.5b
  • 若选择 7B 版本,输入 ollama run deepseek-r1:7b
  • 若选择 8B 版本,输入 ollama run deepseek-r1:8b
  • 若选择 32B 版本,输入 ollama run deepseek-r1:32b ;我选的是这个。

如果中途突然慢了可以Ctrl+C退出一下再输入刚刚的命令(或者可以按“上”箭头键后回车)

PS:关于大型神经网络模型的参数数量
“10b”、”13b”、”70b”等术语通常指的是大型神经网络模型的参数数量。 其中的 “b” 代表 “billion”,也就是十亿。 表示模型中的参数量,每个参数用来存储模型的权重和偏差等信息。 例如: 例如:Meta 开发并公开发布的 Llama 2 系列大型语言模型 (LLM),这是一组经过预训练和微调的生成文本模型,参数规模从 70 亿 (7b) 到 700 亿 (70b) 不等。

下载完后就可以对话啦!

可以看到GPU的内存(显存)已经占了很多,这表明ollama已经成功运行了本地大模型了~

可以问问他任何一个问题:

可以看到本地大模型已经安装成功!

输入/bye退出对话

(四)、“优雅地”开始其他操作:如何用Deepseek做se*?

你确定??

 

 


感谢阅读,如有错误请指正~

文章:Luminous辰汐

校对:雨落向晚亭

暂无评论

发表评论

汐汐

Avatar
AI

简介:辰汐の小站的智能AI助手

来自:辰汐の小站

生日:2025年2月1日

欢迎光临本站喵~

有任何问题可以问我哦~

感谢@雨落听风祈的编写!

——唯有青春与梦想不可辜负!

.

.

.

.

前往主站

日历

2025 年 3 月
 123
45678910
11121314151617
18192021222324
25262728  

推广

飞机场推荐-->

Hey there! Ask me anything!