Dify同时接入DeepSeek和Ollama:云端省钱+本地隐私,一个应用随便切
欢迎来到知识与创意的殿堂 — 远见阁小民的世界 在这里我们一起探索技术的奥秘一起在知识的海洋中遨游。 在这里每个错误都是成长的阶梯每条建议都是前进的动力。 在这里我们一起成长一起进步让我们在知识的世界里畅游无阻共同创造一个充满智慧和创新的明天。 点击关注加入我们的技术探索之旅吧❤️✨✨博客主页远见阁小民的主页本文专栏AI专栏其他专栏后端专栏 Linux专栏 白帽学徒笔记用DeepSeek API一个月下来几十块说实话用多了还真有点心疼。有没有不花钱的办法有本地跑Ollama一分不用花断网都能用。但我又不想完全放弃DeepSeek有些问题本地模型确实搞不定。折腾了大半天终于在Dify里把两个都接上了现在一个应用里云端和本地模型随便切。下面把步骤和踩过的坑记下来希望对你有用。我是小民分享我跑通过的AI实操1. 先说背景我平时用Dify搭一些AI小应用大部分时候调DeepSeek的API就够了便宜还好用。但有些场景涉及内部数据不想走云端就想着能不能本地也跑个模型在Dify里随时切换。Dify本身支持多个模型供应商DeepSeek和Ollama都能接。问题是——接上去不难但有几个坑不亲自踩一遍根本不知道。下面说说我是怎么弄的我的电脑配置先说一下我的电脑情况给你个参考CPUi7-12700内存32GB显卡集成显卡UHD 770没有独显硬盘SSD HDD没有独立显卡纯靠CPU跑32GB内存跑7B模型完全够用。如果你电脑配置比我高有独显、内存更大跑起来会更流畅。如果配置低一些比如16GB内存可以选更小的模型比如1.5B也一样能玩。2. 开始折腾第一步安装Ollama去Ollama官网下载安装包下载地址https://ollama.com/download按提示装就行装完后打开终端验证一下拉一个模型我用的是DeepSeek-R1:7Bollama pull DeepSeek-R1:7B大概4个多G等它下完第二步Dify里接Ollama打开Dify后台点「右上角」➔「设置」➔「模型供应商」搜索Ollama➔点「安装」安装完成点「添加模型」开始填配置翻车了点「添加」报错我的环境是这样的Dify部署在虚拟机地址192.168.1.4Ollama部署在电脑上地址192.168.1.5尝试把Ollama的基础URL改成http://192.168.1.5:11434还是报错经过一番折腾发现还需要确认两件事1. 配置Ollama允许外部访问默认情况下Ollama只允许本机访问127.0.0.1需要让它监听0.0.0.0这样其他设备才能连。设置方法Windows在电脑上打开CMD命令行设置环境变量后启动Ollamaset OLLAMA_HOST0.0.0.0:11434 ollama serve2. 处理Windows防火墙Windows防火墙默认会拦截外部访问。我比较粗暴直接把防火墙关了你也可以单独放行11434端口。打开浏览器测一下没问题了回过头来再去配置这次就成功了Dify里接DeepSeek API这个简单很多先去DeepSeek开放平台注册拿到API Key然后在Dify「模型供应商」里找到DeepSeek点「安装」之前文章写过这里就不展开说了第三步看效果在Dify里新建一个聊天应用模型下拉框里应该能看到两个选项随便切分别问一句「你好」DeepSeek云端Ollama本地能切能聊没问题踩坑记录坑1Dify连不上Ollama报Connection refused填Ollama所在电脑的局域网IP比如http://你电脑IP:11434别填localhost坑2改了IP还是连不上在Ollama电脑上设置环境变量OLLAMA_HOST0.0.0.0:11434然后重启ollama serve坑3windows防火墙拦截粗暴点把防火墙关了或者单独放行11434端口总结Dify接DeepSeek和Ollama核心就一件事——让Dify能找到你的Ollama。不在同一台机器就得填对IP、关防火墙、让Ollama监听外部。核心收获云端用DeepSeek便宜够用敏感数据切本地Ollama灵活隐私Dify里多个模型可以共存一个应用里随便切虚拟机和本机互通时localhost不管用要用局域网IP电脑配置参考7B模型16GB内存起步我32GB纯CPU跑基本流畅1.5B小模型8GB内存也能玩独显不是必须的有会更快没有也能跑❗️ CSDN文章更新会比实际慢3-5天 最新内容、完整源码、答疑 全部首发公众号想第一时间获取最新内容朋友 扫码等你来~