boxmoe_header_banner_img

Hello! 欢迎来到辰汐の小站!

加载中

文章导读

如何允许本地部署的ollama 外网访问——Linux,Windows


avatar
chenxi 2025年1月30日 5.93k

如何允许本地部署的ollama 外网访问

在数据安全和隐私愈发受到重视的当下,许多人都在寻找既高效又能保障数据自主可控的工具。本地部署的应用程序和工具逐渐成为热门选择,而 ollama 正是其中一颗耀眼的新星。它为用户提供了一种全新的、本地化的体验,在众多本地部署工具中脱颖而出。用 Ollama API 调用本地大模型,通过 localhost:11434 就能搞定;(当然,如果你的是Windows系统,ollama是直接部署的,但是调试API接口的应用是在Docker里面的,此时我们仍可以通过http://host.docker.internal:11434来访问)但是,想在其他电脑上用 IP 地址调用,可能会存在问题。

在Linux环境中如何通过IP来访问接口

1、首先停止ollama服务:systemctl stop ollama

2、修改ollama的service文件:vim /etc/systemd/system/ollama.service在[Service]下边增加两行:

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

(当然也可以使用别的编辑器:

sudo nano /etc/systemd/system/ollama.service

按Ctrl+S保存,Ctrl+X退出)

或者如果要限制端口就加上软件

Environment="OLLAMA_HOST=0.0.0.0:11434" 
Environment="OLLAMA_ORIGINS=*"
//端口可根据实际情况修改

3、重载daemon文件 systemctl daemon-reload
4、启动ollama服务 systemctl start ollama

 

在Windows环境中如何通过IP来访问接口

1、首先停止ollama服务的允许。由于windows下安装的ollama不是一个标准的windows service,所以只能直接kill两个ollama进程。
2、为当前windows系统添加环境变量:电脑-属性-高级系统设置-环境变量
变量:OLLAMA_HOST,值:0.0.0.0:11434
3、关掉已打开的命令行窗口,打开新命令行,用ollama serve或者ollama start来启动ollama服务,此时ollama服务在启动时将读取环境变量中的OLLAMA_HOST,支持IP端口访问


附:
Vim操作方法:
  • i — 切换到输入模式,在光标当前位置开始输入文本。
  • x — 删除当前光标所在处的字符。
  • : — 切换到底线命令模式,以在最底一行输入命令。
  • a — 进入插入模式,在光标下一个位置开始输入文本。
  • o:在当前行的下方插入一个新行,并进入插入模式。
  • O — 在当前行的上方插入一个新行,并进入插入模式。
  • dd — 剪切当前行。
  • yy — 复制当前行。
  • p(小写) — 粘贴剪贴板内容到光标下方。
  • P(大写)– 粘贴剪贴板内容到光标上方。
  • u — 撤销上一次操作。
  • Ctrl + r — 重做上一次撤销的操作。
  • :w — 保存文件。
  • :q — 退出 Vim 编辑器。
  • :q!— 强制退出Vim 编辑器,不保存修改。


评论(5)

查看评论列表
评论头像
Y 2025年02月12日
其他电脑怎么访问?
评论头像
chenxi 博主 2025年02月13日
其他电脑可以试试Dify、Maxkb等AI大语言模型(LLM)应用开发平台来调用~ 一般我们会在其他电脑上输入运行ollama的主机的IP地址(如果都是在一个机子上,那就是localhost)来调用这个ollama,以达到ollama 跨设备访问,搞定远程调用的问题~
评论头像
SenBon 2025年02月18日
0.0.0.0会有安全问题
评论头像
iqboost 2025年06月23日
请问下mac怎么设置对公网开放呢
评论头像
chenxi 博主 2025年08月02日
可以直接在 Mac 上设置环境变量: 如果 Ollama 作为 macOS 应用程序运行,调用 launchctl setenv 设置环境变量: $ launchctl setenv OLLAMA_HOST "0.0.0.0" 重启 Ollama 应用程序试试~

发表评论

辰汐の小站

个人信息

avatar

22
文章
3
评论
14
用户

汐汐

Avatar
AI

简介:辰汐の小站的智能AI助手

来自:辰汐の小站

生日:2025年2月1日

欢迎光临本站喵~

有任何问题可以问我哦~

感谢@雨落听风祈的编写!

——唯有青春与梦想不可辜负!

.

.

.

.

前往主站
Powered by Wordpress
此站已运行: