RT-DTER最新创新改进系列：（购买资料的粉丝反馈涨点的TOP1模块）我们将BiFPN的加权双向融合之力，注入RT-DETR的端到端Transformer架构，创新与涨点的双丰收！！！！！！

RT-DTER最新创新改进系列购买资料的粉丝反馈涨点的TOP1模块我们将BiFPN的加权双向融合之力注入RT-DETR的端到端Transformer架构创新与涨点的双丰收购买相关资料后畅享一对一答疑畅享超多免费持续更新且可大幅度提升文章档次的纯干货工具一 、BiFPN网络BiFPN 的主要思想高效双向跨尺度连接和加权特征融合。多尺度特征表示是目标检测的重点方向之一作者认为其主要困难是如何有效地表示和处理多尺度特征。早期的检测器通常直接根据从骨干网络中提取的金字塔特征层次结构进行预测 。特征金字塔网络 (FPN)提出了一种自上而下的途径来组合多尺度特征。基于FPNPANet 在 FPN 之上添加了一个额外的自下而上的路径聚合网络NAS‑FPN [8]利用神经架构搜索来自动设计特征网络拓扑。虽然实现了更好的性能但 NAS‑FPN 在搜索过程中需要数千 GPU 小时并且生成的特征网络是不规则的因此难以解释。BiFPN引入可学习的权重来学习不同输入特征的重要性同时重复应用自上而下和自下而上的多尺度特征融合.下图表示各类网络模型的结构二、亮点1. 背景与要解决的问题在目标检测中处理不同尺度的目标是一个核心挑战。特征金字塔网络 (FPN)的提出就是为了解决这个问题它通过融合来自主干网络不同层拥有不同分辨率和语义信息的特征来构建一个多尺度的特征金字塔。然而传统的FPN及其后续改进如PANet存在一些局限性信息流动单向FPN只有自顶向下的路径PANet增加了自底向上的路径但两者都是简单的“相加”或“拼接”融合没有考虑不同输入特征的重要性差异。融合方式平等传统的融合方式如相加默认所有输入特征对输出特征的贡献是相等的这显然不是最优的因为不同分辨率的特征图包含的信息量和重要性是不同的。节点冗余PANet等结构引入了较多的节点和连接增加了计算量但其中一些节点对最终输出的贡献很小。BiFPN的核心思想就是如何更高效、更智能地进行多尺度特征融合。2. BiFPN 的核心思想BiFPN从三个方向对之前的FPN结构进行了优化移除只有一个输入的节点如果一个节点只有一个输入边没有特征融合发生那么它对融合不同特征贡献很小。移除这些节点可以简化网络几乎不影响性能。增加一条从原始输入到输出的快捷路径在同一尺度上增加一条额外的边如下图中的“Extra Edge”以便在不增加太多成本的情况下融合更多特征。这类似于ResNet中的残差连接有助于梯度的流动和特征的学习。将PANet的单条自顶向下和自底向上路径视为一个“特征网络层”并重复这个层多次与只能使用一次的FPN/PANet不同BiFPN被设计为一个可以重复堆叠的模块从而实现更高级的特征融合。最重要的创新加权特征融合BiFPN并非简单地将不同分辨率的特征图相加或拼接而是为每个输入引入一个可学习的权重让网络自己去学习哪些特征更重要。3. 加权特征融合的两种方式a) 无界快速归一化融合 (Unbounded Fast Normalized Fusion)这是BiFPN论文中主要采用的方式。公式如下O ∑ i w i ϵ ∑ j w j ⋅ I i O \sum_i \frac{w_i}{\epsilon \sum_j w_j} \cdot I_iOi∑​ϵ∑j​wj​wi​​⋅Ii​O输出特征图。I_i第i个输入特征图。w_i对应于第i个输入特征图的可学习权重每个特征图都有一个。ϵ一个很小的常数如0.0001防止数值不稳定。∑j w_j对所有参与融合的输入的权重求和。特点可学习权重权重w_i是通过反向传播学习的没有限制范围无界。归一化通过除以所有权重的和来实现软归一化使得最终的融合权重是一个介于0和1之间的值保证了融合的稳定性。高效比Softmax更快因为不需要计算指数。b) 基于Softmax的融合 (Softmax-based Fusion)另一种选择是使用Softmax进行归一化但计算量稍大O ∑ i e w i ∑ j e w j ⋅ I i O \sum_i \frac{e^{w_i}}{\sum_j e^{w_j}} \cdot I_iOi∑​∑j​ewj​ewi​​⋅Ii​虽然性能也很好但作者发现前面的快速归一化方法在速度和精度上取得了更好的平衡。4. BiFPN 的整体结构解读上图图 © PANet 在FPN的基础上增加了一个自底向上的路径蓝色箭头。图 (d) 简化版PANet 移除了那些只有一个输入的节点红圈所示简化了网络。图 (e) BiFPN 在简化版PANet的基础上增加了同一层的快捷连接灰色虚线箭头。将PANet的双向路径视为一个可重复的块。最关键的是在所有的特征融合处每个圆圈都使用了上述的加权融合方法而不是简单的相加。5. 性能与效果BiFPN作为EfficientDetbackbone的核心组成部分展现了卓越的性能更高的精度通过高效的加权双向融合更充分地利用了多尺度特征。更少的参数量和计算量 (FLOPs)通过移除冗余节点和采用高效的融合方式在更小的计算开销下实现了更好的性能。可扩展性作为一个小型模块可以轻松嵌入到其他网络架构中并且可以通过堆叠BiFPN的层数如EfficientDet-D0到D7或调整主干网络和特征图通道数来权衡精度和速度。6. 应用与影响BiFPN不仅用于原论文的EfficientDet由于其高效性它已经被广泛采纳和集成到许多现代目标检测模型中例如YOLO等版本的某些变体中采用了类似BiFPN的思想。各种轻量级或移动端部署的检测模型因为它提供了精度和速度的绝佳平衡。7. 原文链接原文标题EfficientDet: Scalable and Efficient Object Detection作者 Mingxing Tan, Ruoming Pang, Quoc V. Le会议 CVPR 2020原文链接 arXiv:1911.09070总结特性描述全称Weighted Bi-directional Feature Pyramid Network核心创新1.加权特征融合引入可学习权重让网络自适应学习不同输入特征的重要性。2.简化双向网络移除冗余节点添加快捷连接形成高效的双向流动路径。3.可重复结构将BiFPN设计为一个可堆叠的模块。关键公式快速归一化融合O ∑ i w i ϵ ∑ j w j ⋅ I i O \sum_i \frac{w_i}{\epsilon \sum_j w_j} \cdot I_iO∑i​ϵ∑j​wj​wi​​⋅Ii​主要优势在更低的计算成本下实现了更高的多尺度特征融合效率从而提升了目标检测的精度。经典应用EfficientDet 系列模型写在最后学术因方向、个人实验和写作能力以及具体创新内容的不同而无法做到一通百通关注UPAi学术叫叫兽在所有B站资料中留下联系方式以便在科研之余为家人们答疑解惑本up主获得过国奖发表多篇SCI擅长目标检测领域拥有多项竞赛经历拥有软件著作权核心期刊等经历。因为经历过所以更懂小白的痛苦因为经历过所以更具有指向性的指导祝所有科研工作者都能够在自己的领域上更上一层楼以下为给大家庭小伙伴们免费更新过的绘图代码均配有详细教程超小白也可一键操作! 后续更多提升文章档次的资料的更新请大家庭的小伙伴关注UPAi学术叫叫兽