1. 项目概述当大模型学会“思考”与“调用”在AI智能体Agent领域一个核心的挑战是如何让大语言模型LLM不仅会“说”更会“做”。传统的工具调用Function Calling方法无论是通过监督微调SFT学习固定的调用模式还是依赖精心设计的提示词Prompt来引导都存在明显的天花板。前者需要大量标注好的“思考-调用”轨迹数据成本高昂且泛化性差后者则严重依赖提示工程模型本身并未真正内化工具使用的逻辑面对复杂、多步骤的任务时表现往往不尽如人意。ReCall的出现正是为了打破这个僵局。它的核心思想非常直接让大模型通过强化学习Reinforcement Learning在“试错”中自主学习如何以及何时使用工具而无需任何现成的工具使用轨迹作为监督信号。你可以把它想象成教一个孩子使用搜索引擎你不需要手把手教他每一步该输入什么关键词、点哪个链接而是给他一个复杂问题让他自己去搜然后根据他最终找到的答案质量来给予奖励或惩罚。经过多次这样的循环孩子自己就能摸索出一套高效的搜索策略。ReCall对LLM做的就是类似的事情。这个框架的野心在于它不局限于某个特定工具比如搜索而是旨在训练出一个能“理解”工具通用接口、并能自主规划调用序列的通用型智能体。无论是查询数据库、调用计算API、还是操作软件只要工具能用代码Python定义ReCall就有潜力让模型学会使用它。这对于构建真正实用、能解决现实世界复杂任务的AI助手而言无疑是一条极具吸引力的技术路径。2. ReCall核心设计思路拆解从“模仿”到“习得”要理解ReCall为何有效我们需要深入其设计哲学看看它是如何将强化学习与工具调用这两个领域巧妙结合的。2.1 为何是强化学习—— 超越监督学习的范式监督学习教模型“模仿”已有的正确轨迹但现实世界中尤其是面对未知工具或新颖任务组合时这样的“标准答案”往往不存在。强化学习则不同它设定一个目标奖励让智能体在这里是LLM在环境中自主探索行为在这里是生成包含工具调用的文本序列并根据结果获得反馈。这个过程更接近人类的学习方式通过实践和结果反馈来优化策略。在ReCall的设定中环境Environment就是由用户问题、可用工具集以及工具执行器Sandbox构成的世界。动作Action是模型生成的每一个token特别是那些触发工具调用的特殊token如tool_call。状态State是到当前为止的完整对话历史包括用户的提问、模型之前的回复、以及工具执行后返回的结果。奖励Reward则是最终任务完成度的量化评估例如对于一个问答任务答案是否正确就是最直接的奖励信号。通过这种方式模型被激励去探索那些能高效、准确解决问题的工具调用序列而不是机械地复现某个固定模式。它需要学会“思考”这个问题需要工具吗如果需要该调用哪个工具调用时应该传入什么参数拿到工具结果后又该如何解读并融入最终的答案这一系列的决策都在强化学习的框架下被联合优化。2.2 合成数据与环境构建低成本创造“练习场”一个现实的难题是强化学习需要大量的交互数据来进行训练如果每次交互都依赖真人提问和真实工具成本将不可承受。ReCall的一个关键创新在于提出了一个生成合成数据Synthetic Data的方法。其核心思路是利用一个能力更强的“教师模型”例如GPT-4或规则系统自动生成大量复杂的、需要多步推理和工具调用才能解决的虚拟任务。同时构建一个模拟的、可编程的“工具环境”。例如可以创建一个虚拟的知识图谱查询工具或者一个数学计算工具。然后让被训练的模型在这个合成环境中进行练习。注意这里合成数据的重点不在于提供“标准答案轨迹”而在于提供多样化的任务场景和可交互的环境。模型仍然需要通过强化学习自己去摸索解法但训练的成本和风险被大大降低了。这相当于为模型建造了一个设施齐全的“驾校”让它可以在里面安全地练习各种驾驶技巧而不用一开始就上真实公路。2.3 策略模型与价值模型PPO的双引擎驱动ReCall采用经典的近端策略优化PPO算法进行训练这涉及到两个核心模型策略模型Actor Model这就是我们主要要训练的大语言模型。它负责根据当前状态对话历史生成动作文本可能包含工具调用。它的参数决定了“如何行动”。价值模型Critic Model通常是一个与策略模型结构相同但参数独立的小模型。它负责评估当前状态的价值即预测从当前状态出发未来能获得多少累积奖励。它的输出用于计算优势函数Advantage告诉策略模型当前的行动比平均是好还是坏。在训练时策略模型生成一系列轨迹一次完整的问答交互价值模型对这些轨迹中的每一步进行评估。PPO算法则利用这些评估结果来更新策略模型的参数使其更倾向于产生高奖励的动作同时避免单次更新幅度过大导致策略崩溃。这种“行动-评估-微调”的循环正是模型学会有效使用工具的内在机制。3. 实操部署与训练全流程解析理解了原理我们来看看如何亲手搭建并训练一个ReCall智能体。以下流程基于项目代码我会补充大量原文档未提及的细节和避坑指南。3.1 环境准备与依赖安装第一步是搭建一个稳定、兼容的Python环境。项目推荐使用Conda这是非常明智的选择可以避免系统级Python环境带来的包冲突。# 创建并激活环境强烈建议指定Python 3.10这是许多深度学习库兼容性最好的版本 conda create -n re-call python3.10 -y conda activate re-call接下来克隆仓库并安装依赖。这里有几个关键点pip3 install -e .中的-e代表“可编辑模式”安装。这意味着你对src/目录下的代码所做的任何修改都会立即反映在环境中无需重新安装非常适合开发和调试。flash-attn是一个优化注意力计算的库能显著提升训练速度并降低显存占用。但安装它有时会遇到编译问题。如果安装失败可以尝试先升级你的CUDA工具包和pip或者查阅FlashAttention项目的官方安装指南。git clone https://github.com/Agent-RL/ReCall.git cd ReCall pip3 install -e . pip3 install flash-attn --no-build-isolation实操心得如果服务器网络环境特殊flash-attn的安装可能是第一道坎。一个备选方案是暂时注释掉这行先安装其他依赖模型依然可以运行只是效率会低一些。后续再单独解决flash-attn的安装问题。3.2 核心服务部署沙箱与检索器ReCall的训练需要两个关键后台服务沙箱Sandbox和检索器Retriever。它们是模型与“外部世界”交互的桥梁。1. 沙箱服务安全执行工具工具调用本质上是执行一段Python代码。直接在训练主机上执行未知模型生成的代码是极度危险的。因此ReCall设计了一个沙箱服务通常部署在一台独立的、隔离的服务器上。cd scripts/serving python sandbox.py --port 8001重要警告切勿在本地开发机或存有重要数据的主机上直接运行沙箱服务。当前的实现是一个基础沙箱隔离性并非万无一失。务必将其部署在云端一台纯净的、无重要数据的虚拟机上。启动时确保防火墙只允许训练服务器IP访问该端口。2. 检索器服务提供知识查询对于像MuSiQue多跳问答这样的任务核心工具是维基百科搜索。ReCall集成了FlashRAG来提供高效的检索能力。部署它需要更多步骤数据准备你需要下载FlashRAG项目提供的预构建维基百科索引和语料库。这通常是几个GB甚至更大的文件确保磁盘空间充足。模型下载下载对应的检索模型如Contriever、BGE等。配置修改仔细填写scripts/serving/retriever_config.yaml指明模型路径、索引路径、语料库路径以及使用的GPU ID。启动服务cd scripts/serving python retriever_serving.py \ --config retriever_config.yaml \ --num_retriever 2 \ # 根据GPU数量调整实现并行检索 --port 8002避坑指南检索器服务是最可能出错的环节。常见问题包括路径错误YAML配置文件中的路径必须是绝对路径或者相对于启动脚本位置的正确相对路径。GPU内存不足如果加载多个检索器实例导致OOM减少--num_retriever数量。端口冲突确保8001、8002等端口未被占用或在防火墙中开放。3.3 数据准备合成与真实数据的混合ReCall支持使用混合数据训练。你可以直接使用作者提供的预处理数据也可以制作自己的数据。使用官方数据 从Hugging Face数据集仓库agentrl/ReCall-data下载即可。这通常是最快的方式数据已经格式化好包含问题、可能的工具调用点等信息。自定义数据准备 如果你想训练模型使用自己定义的专属工具就需要制作自定义数据。关键脚本是data/prepare_musique_recall.py。它提供了一个范式你需要一个任务数据集例如QA对。为每个任务设计“工具调用”的上下文。这不是提供答案而是定义为了解决这个问题模型可以调用哪些工具这些工具的API描述是什么将任务和工具描述按照特定格式通常是JSON或Parquet整理。数据格式的核心是让模型在训练时知道“当前有哪些工具可用”至于“用不用、怎么用”则由模型通过RL去学习。3.4 单节点训练实战一切就绪后就可以开始训练了。我们以单机4卡训练Qwen2.5-7B-Instruct为例。首先需要理解训练脚本scripts/train/train.sh的关键参数cd scripts/train bash train.sh \ --train_batch_size 8 \ # 总批次大小 --ppo_mini_batch_size 4 \ # PPO优化时的小批次大小通常为总批次大小的一半或四分之一 --use_re_call True \ # 启用ReCall训练模式 --prompt_template_name re_call_template_sys \ # 使用的提示词模板 --actor_model_path /path/to/qwen2.5-7b-instruct \ # 初始策略模型 --search_url http://retriever-server:8002 \ # 检索器服务地址 --sandbox_url http://sandbox-server:8001 \ # 沙箱服务地址 --project_name my-recall-exp \ # Weights Biases项目名用于实验追踪 --experiment_name qwen7b-v1 \ # 实验名 --nnodes 1 \ # 节点数1表示单机 --n_gpus_per_node 4 \ # 每台机器的GPU数 --total_epochs 2 \ # 训练轮数 --save_path ./outputs \ # 模型保存路径 --train_files [syn_data.parquet, musique_train.parquet] # 训练数据文件列表参数调优心得批次大小Batch Size这是最影响训练稳定性和显存的关键参数。train_batch_size是经验池收集多少条轨迹后进行一次PPO更新。ppo_mini_batch_size是每次参数更新时使用的子样本大小。如果遇到GPU内存不足OOM首先降低这两个值。在4张24GB显存的GPU上用7B模型上述配置是一个合理的起点。学习率脚本中通常有默认的学习率设置。对于Qwen2.5-7B从1e-6到5e-6开始尝试是比较安全的。学习率过大容易导致训练发散奖励曲线剧烈波动过小则学习缓慢。奖励缩放Reward Scaling如果任务奖励的绝对值很大或很小可能需要对奖励进行缩放或裁剪以保持PPO训练的稳定性。这部分可能需要修改src/verl中的相关代码。梯度累积如果由于内存限制无法设置较大的train_batch_size可以通过梯度累积来模拟大批次的效果。这需要在训练脚本中寻找gradient_accumulation_steps参数并进行设置。启动训练后建议使用Weights Biases (WandB)实时监控关键指标reward奖励均值应稳步上升、kl_divKL散度衡量新策略与旧策略的差异应保持在一个较低的正值如0.1以下避免策略突变、loss总损失以及entropy策略熵代表探索性初期可稍高后期应缓慢下降。3.5 模型推理与服务化训练完成后你会得到一个新的模型检查点。如何使用它进行推理呢直接使用封装类项目提供了ReCall类封装了模型调用、工具执行、循环推理的逻辑。from src.re_call.inference.re_call import ReCall agent ReCall(model_urlhttp://your-model-server:80, sandbox_urlhttp://sandbox:8001) question 特斯拉汽车的创始人是谁他还在哪些知名公司担任过CEO answer agent.run(question) print(answer)这个run方法内部会处理多轮的“思考-调用-回答”循环直到模型决定不再调用工具或达到最大轮次限制。部署模型服务对于生产环境建议使用专用的推理服务器。项目推荐SGLang因为它对这类需要长上下文、多轮交互的推理场景做了优化。python3 -m sglang.launch_server \ --served-model-name ReCall-Qwen-7B \ --model-path ./outputs/checkpoint-final \ # 你的训练输出路径 --tp 2 \ # 张量并行度根据GPU数量设置 --context-length 8192 \ # 上下文长度需覆盖长思维链和工具返回 --dtype bfloat16 \ # 精度bfloat16是速度与精度的良好平衡 --port 8080部署成功后你就可以通过HTTP API如SGLang提供的接口或上面提到的ReCall封装类来调用这个服务了。4. 效果评估与问题排查实录训练出的模型效果如何我们需要一个客观的评估标准。ReCall主要在多跳问答Multi-hop QA基准上进行测试。4.1 在多跳问答任务上的评估以Bamboogle数据集为例评估脚本会加载测试集让模型逐一回答问题并自动调用检索工具最后计算准确率。cd scripts/evaluation python run_eval.py \ --config_path eval_config.yaml \ --method_name re-call \ --dataset_name bamboogle \ --split test \ --sgl_remote_url http://your-sgl-server:8080 \ --remote_retriever_url http://retriever:8002 \ --sandbox_url http://sandbox:8001 \ --save_dir ./eval_results \ --save_note my_model_v1评估过程解读脚本会读取eval_config.yaml中的详细参数如最大推理步数、温度设置等。对于每个问题模型开始推理。它可以多次调用检索工具。脚本会记录模型完整的思维链和工具调用历史。将模型的最终答案与标准答案比较判断对错。汇总所有问题的准确率、平均工具调用次数、平均推理时间等指标。关键指标分析准确率Accuracy首要目标直接反映模型解决问题的能力。平均工具调用次数Avg. Tool Calls反映模型使用工具的“效率”。次数过少可能说明模型未能充分利用工具次数过多则可能陷入无效循环增加耗时和成本。成功率Success Rate有时工具调用本身可能出错如参数错误导致执行失败这个指标衡量有多少次交互是顺利完成的。奖励曲线Training Reward在训练时观察一个健康的学习过程应该是奖励均值稳步上升方差逐渐减小。4.2 常见训练问题与解决方案在实际操作中你可能会遇到以下典型问题问题1训练初期奖励毫无提升甚至下降。可能原因A奖励设计不合理。检查奖励函数。如果任务只有最终答案对错稀疏奖励模型在探索初期几乎得不到任何正反馈学习会非常缓慢。考虑加入中间奖励Dense Reward例如对检索到的文档与问题相关性进行评分作为每一步的中间奖励。可能原因B探索不足。模型初始策略即预训练模型可能非常倾向于直接回答问题而不敢尝试调用工具。可以尝试在训练早期提高策略熵的系数或在动作采样时引入更高的温度鼓励探索。可能原因C学习率过高。过高的学习率可能导致策略更新步伐太大直接破坏了预训练模型已有的语言能力。尝试将学习率降低一个数量级例如从5e-6降到5e-7。问题2模型陷入“工具调用循环”不停调用同一个工具而不给出最终答案。可能原因A终止条件奖励缺失或为负。模型可能发现只要不给出最终答案就可以一直“安全地”调用工具而不会因为给出错误答案而受到惩罚。需要在奖励函数中明确鼓励“终止动作”。例如在模型决定停止调用并给出答案时无论对错给予一个小的固定奖励或惩罚以打破这种无限循环。可能原因B工具返回信息过载。如果工具每次返回的信息量巨大且杂乱模型可能难以从中提取有效信息导致其不断请求更多信息。优化工具设计使其返回更精准、结构化的结果。解决方案在推理时设置最大工具调用轮次如10轮达到上限后强制终止并输出当前已生成的内容。问题3工具调用参数错误导致执行失败。可能原因模型未理解工具API的格式。虽然ReCall不提供监督数据但提示词Prompt Template中必须清晰、结构化地定义工具的调用格式JSON Schema。确保你的re_call_template_sys或其他模板中工具的描述部分足够清晰包含参数名称、类型、描述和示例。解决方案在沙箱中对工具调用失败的情况返回结构化的错误信息如{error: Parameter query must be a string}并将此错误信息作为观察反馈给模型。这样模型也能从失败中学习如何正确调用。问题4训练速度慢GPU利用率低。可能原因A数据加载或预处理是瓶颈。使用更快的存储如NVMe SSD并确保使用数据加载器的多进程设置num_workers。可能原因B工具执行沙箱/检索延迟高。这是分布式系统的常见瓶颈。模型生成一个工具调用请求后需要等待远程服务返回结果这段时间GPU是空闲的。优化方案1使用异步请求。在收集经验池时让多个环境实例并行运行当一个实例在等待工具返回时其他实例可以继续执行。优化方案2对工具服务进行性能优化和扩容降低响应时间。优化方案3在训练初期可以使用一个快速但可能不精确的模拟工具来代替真实工具以加速数据收集。在训练后期再切换到真实工具进行微调。5. 进阶思考与未来拓展方向ReCall框架打开了一扇门但门后的世界还很广阔。基于此框架你可以进行多方面的探索1. 工具组合与工作流学习当前ReCall主要演示了单一工具搜索的调用。但其架构天然支持多工具。你可以定义一组工具如search_wikipedia,calculate,fetch_stock_price然后给模型一个复杂任务“计算特斯拉和苹果公司过去一周的平均股价差值并简要分析原因”。模型需要自主规划先搜索两家公司的股票代码再调用股价查询工具获取数据最后使用计算工具得出结果并生成分析。训练这样的模型需要设计更复杂的合成任务来覆盖各种工具组合场景。2. 奖励函数的精细化设计奖励函数是强化学习的“指挥棒”。除了最终答案的正确性可以考虑引入更多维度的奖励效率奖励对使用更少工具调用步骤就解决问题的轨迹给予额外奖励。成本奖励如果工具调用涉及实际成本如调用付费API可以将成本作为负奖励。可解释性奖励对生成清晰、有条理的思维链CoT给予奖励使模型的决策过程更透明。3. 与检索增强生成RAG的深度融合ReCall的检索工具调用可以看作是一种动态的、由模型控制的RAG。与传统RAG检索固定段落然后生成相比它更灵活。你可以探索将两者结合先用一个快速的、基于嵌入的检索器召回一批相关文档作为上下文提供给模型。模型在阅读这些文档后如果认为信息不足可以再发起更精确的关键词搜索ReCall工具。这种混合策略可能兼具效率和精度。4. 从合成环境到真实环境的平稳迁移一个核心挑战是在合成数据/环境中训练出的策略能否很好地迁移到真实世界这涉及到领域适应Domain Adaptation问题。一个实践思路是采用课程学习Curriculum Learning先在简单、规则的合成任务上训练然后逐步引入更复杂、更接近真实分布的任务。另一种思路是在真实环境中收集少量人类反馈数据用于对RL策略进行微调或进行奖励模型学习从人类反馈中学习奖励即RLHF。在我自己的实验过程中最大的体会是耐心和系统的监控至关重要。强化学习训练尤其是涉及语言模型和外部环境的不像监督学习那样有明确的损失下降曲线。奖励的波动、策略的退化都可能发生。因此务必使用像WandB这样的工具详细记录每个实验的超参数、奖励曲线、KL散度、生成的样本轨迹等。当出现问题时这些记录是进行有效诊断的唯一依据。从一个稳定的预训练模型开始从小规模实验入手逐步调整复杂度是成功应用ReCall这类框架的务实路径。