如何允许本地部署的ollama 外网访问
在数据安全和隐私愈发受到重视的当下,许多人都在寻找既高效又能保障数据自主可控的工具。本地部署的应用程序和工具逐渐成为热门选择,而 ollama 正是其中一颗耀眼的新星。它为用户提供了一种全新的、本地化的体验,在众多本地部署工具中脱颖而出。用 Ollama API 调用本地大模型,通过
localhost:11434
就能搞定;(当然,如果你的是Windows系统,ollama是直接部署的,但是调试API接口的应用是在Docker里面的,此时我们仍可以通过http://host.docker.internal:11434
来访问)但是,想在其他电脑上用 IP 地址调用,可能会存在问题。在Linux环境中如何通过IP来访问接口
1、首先停止ollama服务:systemctl stop ollama
2、修改ollama的service文件:vim /etc/systemd/system/ollama.service在[Service]下边增加两行:
Environment="OLLAMA_HOST=0.0.0.0" Environment="OLLAMA_ORIGINS=*"
(当然也可以使用别的编辑器:
sudo nano /etc/systemd/system/ollama.service
按Ctrl+S保存,Ctrl+X退出)
或者如果要限制端口就加上软件
Environment="OLLAMA_HOST=0.0.0.0:11434" Environment="OLLAMA_ORIGINS=*"
3、重载daemon文件 systemctl daemon-reload
4、启动ollama服务 systemctl start ollama
在Windows环境中如何通过IP来访问接口
1、首先停止ollama服务的允许。由于windows下安装的ollama不是一个标准的windows service,所以只能直接kill两个ollama进程。
2、为当前windows系统添加环境变量:电脑-属性-高级系统设置-环境变量
变量:OLLAMA_HOST,值:0.0.0.0:11434
3、关掉已打开的命令行窗口,打开新命令行,用ollama serve或者ollama start来启动ollama服务,此时ollama服务在启动时将读取环境变量中的OLLAMA_HOST,支持IP端口访问
附:
Vim操作方法:
i
— 切换到输入模式,在光标当前位置开始输入文本。x
— 删除当前光标所在处的字符。:
— 切换到底线命令模式,以在最底一行输入命令。a
— 进入插入模式,在光标下一个位置开始输入文本。o
:在当前行的下方插入一个新行,并进入插入模式。O
— 在当前行的上方插入一个新行,并进入插入模式。dd
— 剪切当前行。yy
— 复制当前行。p
(小写) — 粘贴剪贴板内容到光标下方。P
(大写)– 粘贴剪贴板内容到光标上方。u
— 撤销上一次操作。Ctrl + r
— 重做上一次撤销的操作。:w
— 保存文件。:q
— 退出 Vim 编辑器。:q!
— 强制退出Vim 编辑器,不保存修改。

其他电脑怎么访问?
@ Y 其他电脑可以试试Dify、Maxkb等AI大语言模型(LLM)应用开发平台来调用~
一般我们会在其他电脑上输入运行ollama的主机的IP地址(如果都是在一个机子上,那就是localhost)来调用这个ollama,以达到ollama 跨设备访问,搞定远程调用的问题~