辰汐の小站

如何允许本地部署的ollama 外网访问——Linux,Windows


avatar
chenxi 2025-01-30 2.68k

如何允许本地部署的ollama 外网访问

在数据安全和隐私愈发受到重视的当下,许多人都在寻找既高效又能保障数据自主可控的工具。本地部署的应用程序和工具逐渐成为热门选择,而 ollama 正是其中一颗耀眼的新星。它为用户提供了一种全新的、本地化的体验,在众多本地部署工具中脱颖而出。用 Ollama API 调用本地大模型,通过 localhost:11434 就能搞定;(当然,如果你的是Windows系统,ollama是直接部署的,但是调试API接口的应用是在Docker里面的,此时我们仍可以通过http://host.docker.internal:11434来访问)但是,想在其他电脑上用 IP 地址调用,可能会存在问题。

在Linux环境中如何通过IP来访问接口

1、首先停止ollama服务:systemctl stop ollama

2、修改ollama的service文件:vim /etc/systemd/system/ollama.service在[Service]下边增加两行:

Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

(当然也可以使用别的编辑器:

sudo nano /etc/systemd/system/ollama.service

按Ctrl+S保存,Ctrl+X退出)

或者如果要限制端口就加上软件

Environment="OLLAMA_HOST=0.0.0.0:11434" 
Environment="OLLAMA_ORIGINS=*"
//端口可根据实际情况修改

3、重载daemon文件 systemctl daemon-reload
4、启动ollama服务 systemctl start ollama

 

在Windows环境中如何通过IP来访问接口

1、首先停止ollama服务的允许。由于windows下安装的ollama不是一个标准的windows service,所以只能直接kill两个ollama进程。
2、为当前windows系统添加环境变量:电脑-属性-高级系统设置-环境变量
变量:OLLAMA_HOST,值:0.0.0.0:11434
3、关掉已打开的命令行窗口,打开新命令行,用ollama serve或者ollama start来启动ollama服务,此时ollama服务在启动时将读取环境变量中的OLLAMA_HOST,支持IP端口访问


附:
Vim操作方法:
  • i — 切换到输入模式,在光标当前位置开始输入文本。
  • x — 删除当前光标所在处的字符。
  • : — 切换到底线命令模式,以在最底一行输入命令。
  • a — 进入插入模式,在光标下一个位置开始输入文本。
  • o:在当前行的下方插入一个新行,并进入插入模式。
  • O — 在当前行的上方插入一个新行,并进入插入模式。
  • dd — 剪切当前行。
  • yy — 复制当前行。
  • p(小写) — 粘贴剪贴板内容到光标下方。
  • P(大写)– 粘贴剪贴板内容到光标上方。
  • u — 撤销上一次操作。
  • Ctrl + r — 重做上一次撤销的操作。
  • :w — 保存文件。
  • :q — 退出 Vim 编辑器。
  • :q!— 强制退出Vim 编辑器,不保存修改。

  • avatar
    游客

    其他电脑怎么访问?

    • avatar
      会员

      @ Y 其他电脑可以试试Dify、Maxkb等AI大语言模型(LLM)应用开发平台来调用~
      一般我们会在其他电脑上输入运行ollama的主机的IP地址(如果都是在一个机子上,那就是localhost)来调用这个ollama,以达到ollama 跨设备访问,搞定远程调用的问题~

发表评论

汐汐

Avatar
AI

简介:辰汐の小站的智能AI助手

来自:辰汐の小站

生日:2025年2月1日

欢迎光临本站喵~

有任何问题可以问我哦~

感谢@雨落听风祈的编写!

——唯有青春与梦想不可辜负!

.

.

.

.

前往主站

日历

2025 年 3 月
 123
45678910
11121314151617
18192021222324
25262728  

推广

飞机场推荐-->

Hey there! Ask me anything!