背景介绍在自动驾驶技术快速发展的背景下基于多视角特征融合的 3D 目标检测模型如 BEVFormer已成为行业主流。然而这些模型普遍基于 GPU 环境开发深度依赖自定义算子与特定依赖栈难以直接迁移至昇腾 AI 基础软硬件平台。开发者在实际落地过程中常面临以下挑战环境配置复杂OpenMMLab 生态mmcv、mmdetection3d 等依赖关系严格版本冲突频发适配需要修改大量代码需手动修改大量算子调用逻辑涉及算子替换、数据格式转换与内存布局优化问题排查困难缺乏统一调试工具与标准化流程故障定位效率低。为解决这些痛点昇腾构建了一套基于 DrivingSDK 套件的自动驾驶模型迁移技能体系。通过标准化的工作流程、自动化 patch 应用和完整的训练脚本帮助开发者快速完成模型迁移和训练。通过模块化设计、标准化流程与智能辅助能力实现从环境搭建到模型训练的端到端高效支持助力开发者将原本需数天完成的迁移工作压缩至 30 分钟内。Skills 可通过以下地址获取https://gitcode.com/Ascend/agent-skills/tree/master/skills/drivingsdk-ascend-model-migrationSkills 支持的模型与特性模型支持概览当前基于 DrivingSDK 套件的自动驾驶模型迁移 Skills 已支持主流模型 BEVFormer 的迁移模型类别代表模型状态说明3D 目标检测BEVFormer✅ 已支持多视角 3D 目标检测3D 感知BEVFusion 开发中场景理解与融合感知端到端SparseDrive 开发中基于稀疏化表征的端到端模型功能特性✅远程开发支持完整的 SSH 连接和容器管理能力✅环境搭建自动化一键安装 mmcv、mmdet、mmdet3d 等依赖✅NPU 适配零门槛自动应用昇腾 DrivingSDK 提供的 patch 文件✅训练脚本标准化支持性能训练和精度训练两种模式Skills 架构设计整体架构基于 DrivingSDK 套件的自动驾驶模型迁移 Skills 采用模块化设计将模型迁移流程分解为4 个核心技能模块将复杂迁移任务拆解为可复用、可验证的原子能力单元各阶段 Skills 功能详解阶段 1ssh-connectionSSH 连接管理核心功能建立与昇腾服务器和容器的安全连接。关键能力connect底层通过 SSH 一键接入服务器或 Docker 容器debug支持远程日志查看与环境诊断deploy远程部署工具传输文件和代码long-task长时间任务管理训练任务后台运行tunnelSSH 隧道和端口转发可视化监测产出物稳定可操作的远程开发环境阶段 2ascend-mmlab-install-suite环境搭建核心功能在昇腾 NPU 容器中构建完整的 OpenMMLab 开发环境。安装组件组件版本说明mmcv-full1.7.2含 NPU 算子的计算机视觉基础库mmdetection2.24.0目标检测库mmsegmentation0.30.0语义分割库mmdetection3d1.0.0rc43D 目标检测库detectron20.6Facebook 检测分割库关键原则⚠️严禁直接 pip 安装必须通过源码编译 应用 patch 方式安装✅ 自动集成昇腾 DrivingSDK 提供的 NPU 适配补丁✅ 验证 NPU 兼容性确保无 GPU 依赖完全适配 NPU 运行时✅ 支持代理配置应对网络受限场景产出物完整的 NPU 兼容开发环境阶段 3model-migration模型迁移核心功能将开源模型迁移到昇腾 AI 基础软硬件平台。工作流程克隆仓库克隆模型源码至DrivingSDK/model_examples/BEVFormer切换版本切换到指定的 commit 版本应用 patch自动应用 NPU 适配 patch 文件配置数据设置数据集和预训练权重软链接关键特性✅ 在 DrivingSDK 目录结构下操作patch 文件已就绪✅ 自动处理 NPU 适配的代码修改✅ 支持数据集和权重的软链接配置✅ 支持多种网络策略直连、代理、本地克隆 SCP 传输产出物已适配 NPU 的可运行模型代码阶段 4model-training模型训练核心功能在昇腾上启动和监测训练。训练模式模式说明适用场景FP32 性能测试FP32 精度快速性能测试性能验证FP16 性能测试FP16 混合精度快速测试性能验证完整训练24 epochs完整训练模型训练关键指标监测训练指标Loss 值、学习率、迭代时间、内存使用验证指标NDS、mAP、mATE、mASE、mAOE硬件指标NPU 利用率、内存带宽、计算单元利用率产出物训练完成的模型权重文件和性能分析报告实战案例BEVFormer 迁移全流程完整工作流演示Step 1加载识别 Skills —— 输出能力概述提示词需要加载 https://gitcode.com/Ascend/agent-skills/skills 目录下的 drivingsdk-ascend-model-migration 这个 Skill总结你当前具有的 Skills 能力。Agent 自动总结输出 DrivingSDK 自驾模型迁移适配 Skills 能力概述Step 2根据 Skills 梳理自动迁移环境配置 plan提示词你需要进入 driving-train 这个容器conda 环境使用 torch2.1.0_py38请你参考 ascend-mmlab-install-suite 的 Skills 安装包首先你要列出相应的 plan待我确认后可以执行登陆容器环境并执行安装过程。Agent 梳理环境配置详细步骤Agent 会自动确认操作计划是否符合预期Step 3准备 DrivingSDKgitclone https://gitcode.com/Ascend/DrivingSDKcdDrivingSDK/model_examples/BEVFormerStep 4安装基础依赖项以及 MMLab 依赖提示词执行上述规划的操作完成 MMLab 库环境安装。Agent再次罗列安装计划明细首先会安装基础依赖项然后依次完成后续安装计划生成安装验证报告及安装总结确保 MMLab 三方库可用。备注需要注意的是mmcv 安装可能会遇到超时情况Skills 会指导 Agent 多次尝试获取日志增大检测的时间间隔。Step 5迁移 BEVFormer 模型关键目标操作# 克隆 BEVFormer 仓库gitclone https://github.com/fundamentalvision/BEVFormer.gitcdBEVFormer# 应用 NPU 适配补丁gitcheckout 66b65f3a1f58caf0507cb2a971b9c0e7f842376cgitapply--reject--whitespacefix bev_former_config.patch# 配置数据集和权重mkdir-pdata ckptsln-sf/path/to/nuscenes data/nuscenesln-sf/path/to/r101_dcn_fcos3d_pretrain.pth ckpts/提示词你需要在 DrivingSDK/model_examples/BEVFormer 下面完成模型的迁移参考 ascend-model-migration 这个 Skills。同样的先给我一版 plan我确认后可以执行。Agent给出详细的迁移计划。Agent 自动确认数据集路径和权重路径提示词先执行模型迁移部分Agent依次执行模型迁移流程完成迁移报告以及说明 “Patch 修改覆盖范围”Step 6设置数据集、权重文件路径提示词数据集的 nuscenes 路径是 /home/xxx/datasets/v1.0-minican_bus 路径是 /home/xxx/datasets/can_bus权重路径是 /home/xxx/weights/r101_dcn_fcos3d_pretrain.ptAgent完成设置数据集、权重文件完成全量模型迁移Agent 提示可进入训练阶段Step 7启动模型训练后台任务关键目标操作cd..bashtest/train_performance_8p_base_fp16.sh --batch-size1--num-npu8提示词想要跑 FP16 场景的性能验证脚本帮我提供训练命令我确认一下后启动训练Agent给出执行命令确认后可正常拉起训练模型迁移训练时间统计阶段耗时说明环境搭建25 分钟自动化安装受限于 MMLab 等三方库编译耗时久模型迁移5 分钟patch 自动应用训练启动5 分钟脚本标准化总计35 分钟完成从零到训练启动核心价值与优势相比传统迁移方式对比维度传统方式Skills环境搭建手动安装1 天自动化脚本25 分钟模型适配手动修改代码1-2 天自动应用 patch即时完成训练配置手动编写脚本半天标准化脚本即拿即用问题排查缺乏指导耗时完整文档和 troubleshooting总耗时1-2 天35 分钟核心价值效率提升将模型迁移时间从数天缩短至 30 分钟降低门槛无需深入了解适配细节质量保证标准化的 patch 和训练脚本确保正确性可复现性完整的工作流文档便于团队协作总结与展望基于 DrivingSDK 套件的自动驾驶模型迁移 Skills 通过模块化技能设计、自动化环境搭建、标准化迁移流程与完整训练支持实现了自动驾驶模型在昇腾 AI 基础软硬件平台上的高效落地。当前成果BEVFormer 已实现端到端迁移与训练性能达标。获取地址https://gitcode.com/Ascend/agent-skills/tree/master/skills/drivingsdk-ascend-model-migration未来规划支持更多主流模型BEVFusion、SparseDrive 等增强自动化诊断能力自动识别兼容性问题推出可视化操作面板提升易用性社区共建欢迎开发者贡献新模型支持与优化建议共同完善昇腾生态。开源地址https://gitcode.com/Ascend/agent-skills30 分钟从零开始完成 BEVFormer 在昇腾 NPU 上的迁移与训练——这不是理想而是现实。基于 DrivingSDK 套件的自动驾驶模型迁移技能正在重新定义 AI 模型迁移的效率边界让开发者聚焦于创新而非重复造轮子。