关于目标检测:DiffusionDet-用扩散模型解决目标检测

34次阅读

共计 648 个字符,预计需要花费 2 分钟才能阅读完成。

出品人:Towhee 技术团队 王翔宇、顾梦佳

DiffusionDet 是一个新的指标检测框架,将指标检测建模为从噪声框到指标框的去噪扩散过程。在训练阶段,指标框从真值框扩散到随机散布,模型学习如何逆转这种向真值标注框增加噪声过程。在推理阶段,模型以渐进的形式将一组随机生成的指标框细化为输入后果。在包含 MS-COCO 和 LVIS 的基准测试中,DiffusionDet 证实了其比之前成熟的指标检测器具备更好的性能。另外,DiffusionDet 的钻研发现随机框也是无效的指标候选。因为指标检测是代表性的感知工作之一,它甚至提出能够通过生成的形式解决该工作。

Diffusion model for object detection.

DiffusionDet 将检测转换为图像中边界框的地位(核心坐标)和大小(宽度和高度)空间上的生成工作,利用扩散模型解决指标检测工作。模型包含图像编码器和检测解码器两个局部。基于应用卷积神经网络和基于 Transformer 的模型的图像编码器将原始图像作为输出,提取其高级特色。检测解码器借鉴 Sparse R-CNN 的思路,将一组倡议框作为输出,从特色图中裁剪感兴趣区域的特色,并将它们送到检测头以取得框回归和分类后果。

相干材料:

代码地址:https://github.com/ShoufaChen/DiffusionDet
论文链接:DiffusionDet: Diffusion Model for Object Detection
更多材料:DiffusionDet:基于扩散模型的指标检测框架

正文完
 0