1. 项目概述在Cloudflare Workers上搭建你自己的免费AI聊天机器人如果你对ChatGPT这类大语言模型LLM的API调用费用感到头疼或者想找一个完全免费、部署简单、还能自定义模型的AI对话方案那么你找对地方了。今天要聊的这个项目我称之为“薅Cloudflare羊毛”的典范——DuckGPT。它本质上是一个部署在Cloudflare Workers无服务器平台上的Web应用通过绑定Cloudflare自家的Workers AI服务让你能近乎零成本地调用包括Llama、Gemma、Mistral、Qwen在内的多个开源大模型。这个方案的核心价值在于它巧妙地利用了Cloudflare免费套餐的资源配额。你不需要准备服务器不需要处理复杂的模型部署和环境配置甚至不需要信用卡如果你只用免费额度。整个过程就像搭积木一样把前端界面、后端逻辑和AI能力拼装起来。最终你会得到一个拥有清爽界面的聊天网站可以自由切换模型、清空对话、调整主题体验上和许多商业产品相差无几。无论是用于个人学习、快速原型验证还是作为一个轻量级的内部工具它都极具吸引力。接下来我会带你从零开始完整走一遍部署和定制的流程并分享我在这个过程中踩过的坑和总结出的技巧。2. 核心原理与架构拆解为什么是Cloudflare Workers Workers AI在动手之前我们得先搞清楚DuckGPT是怎么跑起来的。知其然更要知其所以然这样后面遇到问题你才知道从哪里下手。2.1 技术栈的三层结构DuckGPT的架构非常清晰可以分成三层前端层GUI这是一个静态的网页应用基于HTML、CSS和JavaScript构建。它负责提供用户交互的界面显示聊天窗口、处理你的输入、展示AI的回复以及控制主题切换、粒子效果等。这个前端代码是托管在Cloudflare Workers上的也就是说Worker既当服务器提供前端页面也当API接口。代理层Worker这是整个项目的“大脑”也就是我们部署在Cloudflare Workers上的JavaScript代码worker.js。它扮演了两个关键角色静态文件服务器当用户访问你的Worker域名时它会把前端页面HTML、JS等发送给浏览器。AI API网关当你在前端发送一条消息时前端会向同一个Worker发送一个请求。Worker收到后并不直接转发到某个外部API比如OpenAI而是调用它绑定的Workers AI服务。AI能力层Workers AI这是Cloudflare提供的一项服务。你可以把它理解为一个“模型集市”Cloudflare已经帮我们部署好了多个开源大模型。我们的Worker通过一个简单的绑定Binding就能以极低的延迟调用这些模型。我们完全不用关心模型在哪里运行、需要多少GPU资源这些都由Cloudflare负责。这种架构的优势非常明显全托管、无状态、全球分布式。你的应用会自动部署在Cloudflare遍布全球的边缘网络上用户访问速度快而且几乎没有运维成本。2.2 Workers AI的计费核心“神经元”Neurons这是理解免费额度限制的关键。Cloudflare Workers AI的计费单位不是“请求次数”也不是“生成的单词数”而是一个叫做“神经元”的抽象单位。你可以把它想象成衡量一次AI推理任务所消耗的计算资源的“积分”。不同模型、处理不同长度的文本消耗的神经元数量是不同的。根据官方文档和社区测试大致规律如下模型越大消耗越多70B参数的大模型一次推理消耗的神经元远高于7B或8B的小模型。输入输出越长消耗越多你提问的内容Prompt和AI生成的回答Completion总长度Token数越大消耗的神经元也越多。Cloudflare免费套餐每天赠送10,000个神经元。这意味着如果你使用像Llama-3.1-8B这样的模型每次约消耗50-150神经元理论上一天可以进行大约200次对话交互。对于个人轻度使用或测试来说这完全足够了。注意除了神经元的限制免费套餐还有 Workers 本身的限制每天10万次请求且每次请求的CPU时间不能超过10毫秒。对于DuckGPT这种主要耗时在AI推理这部分不计入Worker CPU时间的应用来说10万次的请求限制几乎不可能触及主要瓶颈还是在神经元的消耗上。2.3 模型选择策略在能力与成本间权衡项目支持多个模型选择哪个不是拍脑袋决定的需要根据你的场景来cf/meta/llama-3.1-8b-instruct这是平衡之选也是我日常最推荐的。8B的参数量在理解能力、逻辑推理和生成速度上取得了很好的平衡。消耗的神经元适中适合绝大多数问答、编程辅助、内容生成等通用任务。cf/meta/llama-3.2-3b-instruct这是速度之选。参数量小所以响应速度最快消耗的神经元最少。适合对响应延迟极其敏感的场景或者处理非常简单、模式固定的任务。它的复杂推理能力会弱于8B模型。cf/meta/llama-3.1-70b-instruct这是能力之选。当你的问题涉及复杂的逻辑链条、需要深度分析或创造性写作时70B模型的表现会好得多。但代价是每次调用消耗的神经元可能是8B模型的5-10倍免费额度下用不了几次。cf/mistral/mistral-7b-instruct-v0.1和cf/google/gemma-7b-it这两个都是可靠的备选。Mistral 7B是久经考验的模型在某些基准测试上表现优异。Gemma 7B是Google的轻量级模型指令跟随能力不错。如果你对Llama系列想换个口味可以试试它们。cf/qwen/qwen1.5-7b-chat这是中文优化之选。通义千问在中文理解和生成上有天然优势。如果你的使用场景以中文为主这个模型可能是比Llama更好的选择。实操心得我建议在部署后先用llama-3.2-3b快速测试整个流程是否通畅。然后切换到llama-3.1-8b作为主力模型。只有当遇到8B模型明显“力不从心”的复杂问题时才临时切换到70B模型来获取更高质量的答案并清楚这次调用会消耗大量额度。3. 从零开始的详细部署指南理论讲完了我们开始动手。我会假设你从零开始一个Cloudflare账号都没有。3.1 第一步准备工作与账号注册访问Cloudflare官网打开浏览器访问https://www.cloudflare.com/。点击右上角的“Sign Up”进行注册。你需要一个电子邮箱国内邮箱如QQ、163均可正常使用。验证邮箱注册后Cloudflare会向你的邮箱发送验证链接点击完成验证。可选设置支付方式虽然我们主要用免费套餐但Cloudflare有时会要求验证支付方式如信用卡或PayPal以防止滥用。你可以绑定一个只要不升级套餐就不会产生费用。如果遇到必须绑定的提示按流程操作即可。3.2 第二步创建你的第一个Worker登录后在控制台左侧菜单栏找到并点击“Workers Pages”。在概览页面点击“Create application”。你会看到两个选项“Create Worker”和“Create Pages project”。这里选择“Create Worker”。这时Cloudflare会提供一个在线的代码编辑器里面有一段默认的“Hello World”代码。先不要在这里写代码我们直接点击右下角的“Deploy”按钮。这一步的目的是先创建一个Worker的空壳拿到一个临时的访问域名比如your-worker-name.your-account.workers.dev。部署成功后点击“Continue to project”进入该Worker的管理页面。3.3 第三步绑定Workers AI服务这是让Worker获得AI能力的关键一步。在Worker的管理页面点击顶部的“Settings”选项卡。在左侧设置菜单中找到并点击“AI”。页面中间有一个“Add binding”区域。在“Variable name”输入框中输入AI必须全部大写这与worker.js代码中的变量名对应。在“AI Binding”下拉菜单中选择“Workers AI”。点击“Save”保存设置。重要提示这个绑定操作相当于给你的Worker代码注入了一个名为AI的全局对象通过这个对象如env.AI.run才能调用模型。如果变量名填错后续代码会报错“AI is not defined”。3.4 第四步上传并部署DuckGPT代码现在我们需要用项目真正的代码替换掉默认的“Hello World”。获取代码你需要先拿到DuckGPT项目的worker.js文件。你可以通过项目仓库例如GitHub下载整个项目或者直接复制worker.js文件的内容。为了确保我们用的是同一份代码我建议你从一个可靠的源获取。进入编辑器在Worker管理页面点击顶部的“Edit Code”按钮或“Quick edit”会再次打开在线代码编辑器。清空并粘贴将编辑器里原有的所有代码删除然后把worker.js文件的全部内容粘贴进去。保存并部署点击编辑器右上角的“Save and deploy”按钮。系统会提示你确认再次点击“Deploy”即可。踩坑记录第一次部署时我遇到了一个错误“Error: Something went wrong”。排查后发现是因为我复制的worker.js代码格式有问题比如从网页复制时带了行号。最稳妥的方式是通过点击项目仓库里的worker.js文件然后点击“Raw”按钮获取纯文本再复制粘贴。确保代码开头是export default { ...这样的结构。3.5 第五步测试与访问部署成功后页面会提示“Deployment successful”。此时你可以点击页面上方提供的域名链接格式如https://your-worker-name.your-account.workers.dev。浏览器会打开DuckGPT的聊天界面。如果一切正常你应该能看到一个简洁的聊天窗口左侧可能有模型选择下拉框。尝试在底部的输入框发送一条消息比如“Hello”。如果网络和AI绑定都正常几秒后你应该能收到AI的回复。恭喜你至此一个完全属于你个人的、免费的AI聊天应用就部署成功了。4. 深度定制与配置详解基础部署只是开始。要让这个工具更贴合你的需求我们还需要了解一些配置和定制选项。worker.js文件里藏着不少可以调整的地方。4.1 前端配置修改前端的一些默认行为是写在worker.js里的因为Worker同时服务前端资源。你需要编辑worker.js来修改它们。打开worker.js找到开头部分通常会有一些常量定义。你可能需要修改默认模型查找const DEFAULT_MODEL这样的变量。它的值可能是cf/meta/llama-3.1-8b-instruct。你可以把它改成你更常用的模型比如cf/qwen/qwen1.5-7b-chat这样每次打开页面就不需要再手动切换了。系统提示词System Prompt这是影响AI行为风格的关键。在代码中寻找设置messages数组的地方通常第一条消息的role是system。它的content定义了AI的角色。例如你可以把它从通用的助手改为“你是一个专业的Python代码审查员”或“你是一个简洁的翻译家”。修改后记得重新部署。// 示例修改系统提示词 const messages [ { role: system, content: 你是一位资深的软件开发工程师回答技术问题力求准确、详细并附上代码示例。 }, { role: user, content: userMessage } ];界面标题和描述在返回HTML的代码段里搜索title和meta namedescription标签修改它们的内容让你的聊天页面更有辨识度。4.2 调整AI生成参数Workers AI的API允许你传递一些参数来控制生成过程这些参数直接影响回复的质量和风格。在worker.js中寻找调用env.AI.run的地方会有一个messages和stream参数通常还可以传递第三个参数作为配置对象。// 示例添加生成参数 const response await env.AI.run( model, { messages: messages, // stream: true, // 流式传输前端需要相应支持 }, { // 这里是可选的配置项 max_tokens: 1024, // 控制回复的最大长度 temperature: 0.7, // 控制随机性 (0.0-1.0)值越高越有创意越低越确定 top_p: 0.9, // 核采样参数与temperature配合使用 } );max_tokens非常重要。它限制了AI单次回复的最大长度Token数。设置太小可能导致回答被截断设置太大会在不必要时消耗更多神经元。对于对话512-1024是个合理的范围。temperature创意控制器。设为0时AI每次对相同问题都会给出几乎一样的答案严谨但枯燥。设为1时答案会非常多样甚至天马行空。对于技术问答建议在0.5-0.8之间对于创意写作可以调到0.8-1.0。top_p另一种控制随机性的方法。通常和temperature一起微调保持默认值0.9即可。实操心得我习惯将max_tokens设为768temperature设为0.7。这个组合在技术问题的准确性和回答的丰富度上取得了不错的平衡。如果你发现AI经常跑题或胡言乱语先把temperature调低到0.3试试。4.3 实现上下文对话聊天记忆原始的DuckGPT前端可能只发送当前单条消息。要实现多轮对话让AI记住之前的聊天内容需要前后端配合。前端修改前端需要将整个对话历史包括用户和AI的每一轮问答都保存在一个数组里每次发送新消息时将这个历史数组一起发送给Worker。后端修改Worker端的worker.js在接收请求时不能只把最新的用户消息放入messages数组而需要将前端传来的整个历史记录都拼接进去再交给AI模型。模型会根据完整的上下文来生成回复。这个功能实现起来代码量稍大需要你对前端JavaScript和后端Worker逻辑都有所了解。一个简单的思路是前端用localStorage存储对话历史每次请求将其作为JSON数据发送后端解析这个JSON并构建messages数组。4.4 更换前端界面如果你觉得默认的前端界面不够美观或功能不全完全可以替换它。DuckGPT项目的前端和后端是分离的感谢开发者Zarox提供了duck-gui仓库。你可以Fork或下载duck-gui的前端代码。按照你的喜好修改HTML、CSS和JavaScript比如调整布局、增加功能按钮、更换主题色。将修改后的前端静态文件HTML、JS、CSS等全部内联或通过适当的方式整合到worker.js的响应逻辑中。最简单粗暴但有效的方法是将构建好的单HTML文件内容以模板字符串的形式替换掉worker.js中返回HTML的那一大段代码。这给了你极大的自由度可以打造一个独一无二的AI聊天站。5. 高级技巧、监控与成本控制项目跑起来之后我们还需要关注它的运行状态和资源消耗确保在免费额度内稳定使用。5.1 如何监控你的使用量Cloudflare控制台提供了清晰的用量仪表盘进入Cloudflare仪表板在左侧菜单选择“Workers Pages”。点击你创建的Worker名称进入详情页。在顶部选项卡中选择“Metrics”。这里你可以看到请求次数、错误率、CPU时间等图表。要查看Workers AI的神经元消耗你需要进入另一个地方在仪表板左侧菜单最下方找到“AI”图标并点击。在这里你可以看到“Total neurons used today”以及按模型分解的用量图。建议在部署初期每天花一分钟看一眼AI用量了解你当前的使用习惯大概会消耗多少神经元从而建立起“用量感知”。5.2 突破免费额度限制的策略免费额度10k神经元/天用完了怎么办除了升级付费计划还有一些技巧模型降级这是最直接的方法。从70B切换到8B或3B模型单次请求的神经元消耗会大幅下降让你能进行更多次对话。优化提示词避免冗长、重复的提问。清晰的指令能让AI更高效地理解你的意图减少不必要的“思考”和冗余输出从而节省Token和神经元。控制回复长度如前所述在API调用中设置合理的max_tokens参数避免AI生成长篇大论。多账号策略谨慎使用理论上你可以用不同的邮箱注册多个Cloudflare账号每个账号部署一个实例分散使用。但这需要管理多个域名和项目且需遵守Cloudflare的服务条款不推荐作为主要方案。5.3 常见错误排查与解决在部署和使用过程中你可能会遇到以下问题问题现象可能原因解决方案访问Worker域名显示空白页或错误1. Worker代码部署失败。2.worker.js代码有语法错误。3. 前端资源路径错误。1. 检查“Deployments”历史确认最新部署成功。2. 在编辑器中检查代码是否有红色波浪线报错。3. 查看浏览器开发者工具F12的“Console”和“Network”选项卡看是否有JS加载错误。发送消息后返回“429 Too Many Requests”1. Workers AI每日免费神经元10k已用尽。2. Workers AI每分钟请求数300次超限。1. 去AI用量面板确认。等待UTC时间第二天重置北京时间早上8点。2. 降低请求频率或优化前端避免重复快速发送。发送消息后返回“500 Internal Error”或“AI is not defined”1. Worker的AI绑定未创建或名称不对。2. Worker代码中调用AI的变量名与绑定名不一致。1. 检查Worker的“Settings” - “AI”绑定确认变量名为AI大写。2. 检查worker.js代码确认调用方式是env.AI.run。AI回复内容被截断未设置或max_tokens参数值太小。在调用env.AI.run时在第三个参数对象中增加{ max_tokens: 1024 }或更大的值。回复速度非常慢1. 选择了70B等大模型。2. 网络延迟。3. Cloudflare节点负载高。1. 切换到3B或8B模型。2. 检查本地网络。3. 稍后再试或尝试在Worker设置中调整部署区域非免费套餐功能。5.4 安全性与隐私考量这是一个必须谈的问题。你的所有对话数据会经过哪里数据传输你的提问和AI的回复会在你的浏览器和Cloudflare的全球边缘网络之间传输。Cloudflare默认使用HTTPS加密传输过程是安全的。数据处理Workers AI服务会在Cloudflare的数据中心处理你的请求。根据Cloudflare的隐私政策他们承诺不会用你的数据来训练他们的公共AI模型。但是对于高度敏感或机密的信息我仍然不建议通过任何第三方AI服务进行处理。无持久化存储DuckGPT的默认实现中Worker是无状态的不会将你的对话历史记录到数据库或持久存储中。这意味着刷新页面后对话历史就消失了除非你修改了前端用localStorage保存。从隐私角度看这反而是一个优点。给你的建议将DuckGPT视为一个方便的、用于处理非敏感信息的个人工具或学习助手。避免输入个人身份信息、密码、商业秘密或任何你不希望被潜在记录的数据。6. 项目演进与扩展思路当你熟练掌握了基础部署后可能会想让它变得更强大。这里有一些进阶的玩法集成向量数据库实现“长期记忆”虽然单次对话有上下文但Worker重启或新会话后AI就“失忆”了。你可以结合Cloudflare的另一个免费服务D1SQLite数据库或Workers KV键值存储来保存重要的对话摘要或用户偏好。更高级的玩法是将对话内容通过嵌入模型Embedding转换成向量存入向量数据库实现基于语义的长期记忆检索。打造专属知识库问答机器人利用Workers AI的文本嵌入模型和向量存储你可以将自己的文档如公司手册、产品文档、个人笔记进行处理。然后让DuckGPT具备检索增强生成RAG的能力回答基于你特定知识库的问题答案会更准确、相关性更高。开发成公开API服务修改worker.js使其不再返回HTML页面而是只处理/chat这样的API端点接收JSON请求并返回JSON响应。这样你就可以在其他自己的项目或应用中调用这个免费的AI接口了。切记要做好速率限制和身份验证防止被滥用消耗完你的额度。多模型路由与降级写一个更智能的后端逻辑。根据问题的复杂度比如通过关键词或长度判断自动选择不同的模型。简单问题用3B模型快速响应复杂问题再调用70B模型。这能在保证体验的同时最大化利用免费神经元。这个项目就像一个乐高底座Cloudflare Workers提供了无限的可能性。它的意义不仅在于“免费”更在于它展示了一种轻量化、无服务器化集成AI能力的现代开发范式。通过这次实践你不仅得到了一个工具更深入理解了边缘计算、Serverless和AI即服务AIaaS这些概念是如何落地的。