arxiv论文“graph-detr3d: rethinking overlapping regions for multi-view 3d object detection“，22年6月，中科大、哈工大和商汤科技的工作。
从多个图像视图中检测3-d目标是视觉场景理解的一项基本而富有挑战性的任务。由于其低成本和高效率，多视图3-d目标检测显示出了广阔的应用前景。然而，由于缺乏深度信息，通过3-d空间中的透视图去精确检测目标，极其困难。最近，detr3d引入一种新的3d-2d query范式，用于聚合多视图图像以进行3d目标检测，并实现了最先进的性能。
本文通过密集的引导性实验，量化了位于不同区域的目标，并发现“截断实例”（即每个图像的边界区域）是阻碍detr3d性能的主要瓶颈。尽管在重叠区域中合并来自两个相邻视图的多个特征，但detr3d仍然存在特征聚合不足的问题，因此错过了充分提高检测性能的机会。
为了解决这个问题，提出graph-detr3d，通过图结构学习（gsl）自动聚合多视图图像信息。在每个目标查询和2-d特征图之间构建一个动态3d图，以增强目标表示，尤其是在边界区域。此外，graph-detr3d得益于一种新的深度不变（depth-invariant）多尺度训练策略，其通过同时缩放图像大小和目标深度来保持视觉深度的一致性。
graph-detr3d的不同在于两点，如图所示：（1）动态图特征的聚合模块；（2）深度不变的多尺度训练策略。它遵循detr3d的基本结构，由三个组件组成：图像编码器、transformer解码器和目标预测头。给定一组图像i={i1，i2，…，ik}（由n个周视摄像机捕捉），graph-detr3d旨在预测感兴趣边框的定位和类别。首先用图像编码器（包括resnet和fpn）将这些图像变成一组相对l个特征图级的特征f。然后，构建一个动态3-d图，通过动态图特征聚合（dynamic graph feature aggregation，dgfa）模块广泛聚合2-d信息，优化目标查询的表示。最后，利用增强的目标查询输出最终预测。
如图显示动态图特征聚合（dfga）过程：首先为每个目标查询构造一个可学习的3-d图，然后从2-d图像平面采样特征。最后，通过图连接（graph connections）增强了目标查询的表示。这种相互连接的消息传播（message propagation）方案支持对图结构构造和特征增强的迭代细化方案。
多尺度训练是2d和3d目标检测任务中常用的数据增强策略，经证明有效且推理成本低。然而，它很少出现在基于视觉的3-d检测方法中。考虑到不同输入图像大小可以提高模型的鲁棒性，同时调整图像大小和修改摄像机内参来实现普通多尺度训练策略。
一个有趣的现象是，最终的性能急剧下降。通过仔细分析输入数据，发现简单地重新缩放图像会导致透视-多义问题：当目标调整到较大/较小的比例时，其绝对属性（即目标的大小、到ego point的距离）不会改变。
作为一个具体示例，如图显示这个多义问题：尽管（a）和（b）中所选区域的绝对3d位置相同，但图像像素的数量不同。深度预测网络倾向于基于图像的占用面积来估计深度。因此，图中的这种训练模式可能会让深度预测模型糊涂，并进一步恶化最终性能。
为此从像素透视重新计算深度。算法伪代码如下：
如下是解码操作：
重新计算的像素大小是：
假设尺度因子r = rx = ry，则简化得到：
实验结果如下：
注：di = depth-invariant
以上就是graph-detr3d: 在多视角3d目标检测中对重叠区域再思考的详细内容。