AUTHOR-元戎感知组
时隔半年码字，来介绍一下往年被ICCV2021收录的一篇点云宰割的工作DRINet: A Dual-Representation Iterative Learning Network for Point Cloud Segmentation 这里同时要感激一些我的co-author帮忙。
Introduction and Motivation
其实idea的成形在第一篇3D指标检测之后就曾经存在了，整个文章的思路跟过后的PVCNN挺类似，外围就是要利用不同的表征形式来补救点云繁多表征能力的有余。然而过后看到的PVCNN有余的点在于两个方面，1). 3D卷积太耗时，2). Pointwise的branch并没有太多的 3). 特色的流传过程中，devoxelization的时候的三线性插值带来了太多Memory access cost，这样导致了，尽管PVCNN实践计算量很低，然而理论在inference过程中很多内存寻址的代价并没有被思考进去，这导致了PVCNN在室外场景上面其实并没有太多的劣势，尤其是当点云的规模到10W这个量级。
起初SPVNas通过稠密卷积减速解决了第一个问题，同时利用nas的形式寻找最优的网络结构，不过spvnas在前面几个点的改良其实并不多，导致了其实performance跟efficiency下面还是没有达到最优的状态。
Method
通过这几个察看，咱们提出了DRINET。整体来说DRINet是一个十分高效并且performance上达到过后SOTA程度的一个点云宰割的框架。蕴含了以下的几个方面：1) Geometry-aware Feature Extraction 2) Sparse Voxel-Point Feature Extraction(SVPFE) 3) Sparse Point-Voxel Feature Extraction (SPVFE) and 4) Iterative Dual-Representation Learning. 总体框架下图所示
1) Geometry-aware Feature Extraction
跟PVCNN还有SPVNas不同，咱们还是十分关注原始点云的特色的多尺度的提取，通过对不同尺度下统计量的联合，咱们的GAFE能够更加无效的反馈点云的原始特色，保留更好的点云几何个性，比方mean，variance，gridmean等，咱们的试验也反馈了这一点，单单通过GAFE咱们的DRINet就能超过PointNet在semanticKitti上的体现。
2）SPVFE
为了更加好的利用点级别的多尺度信息，相比于其余的工作，咱们在Pointwise下面做了不小的工作，对于PointLevel的branch，咱们利用scatter/gather等操作，实现了高效的多尺度的pooling层操作用以失去hierarchical features。 相比PointNet++咱们的操作不须要任何的KNN的操作因而不须要建设KDTree，因而咱们的操作更加高效。接着利用同样的操作，咱们能够将pointwise的特色mapping到一个targe scale的voxelwise feature。
3) SVPFE
在失去了voxelwise features之后，咱们利用了SPConv进行了context information的提取，SPConv能够疾速扩充感触野的同时维持一个较低的内存的代价。 另一点为了将voxelwise features从新mapping到pointwise的feature，咱们引入了Attentive Gathering Strategy的操作相比于bilinear gathering操作，咱们的操作在memory access cost更低，能够缩小到1/8，因为咱们的attentive gathering操作仅仅只须要一次nearest gathering。
4）Iterative Dual-Representation Learning
当咱们有voxelwise跟pointwise features的时候，咱们能够在两种features中一直的迭代，一种表征的输出就是另一种表征的输入，整个框架最初非常灵活，能够在不同的表征不同的特色一直流传。
Experiment
咱们在室内室外的数据集下面都做了充沛的试验来验证咱们办法的有效性，同时咱们DRINet的计算代价也是相对来说比拟低，是一个更加轻量高效的模型。
Welcome to discuss
Reference:
PVCNN:Point-Voxel CNN for Efficient 3D Deep Learning
SPVNas: Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution
对于DeepRoute Lab
深圳元戎启行科技有限公司（DEEPROUTE.AI）是一家专一于研发 L4级主动驾驶技术的科技公司，聚焦出行和同城货运两大场景，领有“元启行”（Robotaxi主动驾驶乘用车）和“元启运”（Robotruck主动驾驶轻卡）两大产品线。
【Deeproute Lab】是咱们开办的主动驾驶学术产业前沿常识共享平台。咱们将会把公司外部的paper reading分享在这里，让你轻松读懂paper；咱们也会在这里分享咱们对行业的了解，期待越来越多的同学意识主动驾驶，退出这个行业！