共计 2217 个字符，预计需要花费 6 分钟才能阅读完成。
AUTHOR- 元戎感知组
时隔半年码字，来介绍一下往年被 ICCV2021 收录的一篇点云宰割的工作 DRINet: A Dual-Representation Iterative Learning Network for Point Cloud Segmentation 这里同时要感激一些我的 co-author 帮忙。
Introduction and Motivation
其实 idea 的成形在第一篇 3D 指标检测之后就曾经存在了，整个文章的思路跟过后的 PVCNN 挺类似，外围就是要利用不同的表征形式来补救点云繁多表征能力的有余。然而过后看到的 PVCNN 有余的点在于两个方面，1). 3D 卷积太耗时，2). Pointwise 的 branch 并没有太多的 3). 特色的流传过程中，devoxelization 的时候的三线性插值带来了太多 Memory access cost，这样导致了，尽管 PVCNN 实践计算量很低，然而理论在 inference 过程中很多内存寻址的代价并没有被思考进去，这导致了 PVCNN 在室外场景上面其实并没有太多的劣势，尤其是当点云的规模到 10W 这个量级。
起初 SPVNas 通过稠密卷积减速解决了第一个问题，同时利用 nas 的形式寻找最优的网络结构，不过 spvnas 在前面几个点的改良其实并不多，导致了其实 performance 跟 efficiency 下面还是没有达到最优的状态。
Method
通过这几个察看，咱们提出了 DRINET。整体来说 DRINet 是一个十分高效并且 performance 上达到过后 SOTA 程度的一个点云宰割的框架。蕴含了以下的几个方面：1) Geometry-aware Feature Extraction 2) Sparse Voxel-Point Feature Extraction(SVPFE) 3) Sparse Point-Voxel Feature Extraction (SPVFE) and 4) Iterative Dual-Representation Learning. 总体框架下图所示
1) Geometry-aware Feature Extraction
跟 PVCNN 还有 SPVNas 不同，咱们还是十分关注原始点云的特色的多尺度的提取，通过对不同尺度下统计量的联合，咱们的 GAFE 能够更加无效的反馈点云的原始特色，保留更好的点云几何个性，比方 mean，variance，gridmean 等，咱们的试验也反馈了这一点，单单通过 GAFE 咱们的 DRINet 就能超过 PointNet 在 semanticKitti 上的体现。
2）SPVFE
为了更加好的利用点级别的多尺度信息，相比于其余的工作，咱们在 Pointwise 下面做了不小的工作，对于 PointLevel 的 branch，咱们利用 scatter/gather 等操作，实现了高效的多尺度的 pooling 层操作用以失去 hierarchical features。相比 PointNet++ 咱们的操作不须要任何的 KNN 的操作因而不须要建设 KDTree，因而咱们的操作更加高效。接着利用同样的操作，咱们能够将 pointwise 的特色 mapping 到一个 targe scale 的 voxelwise feature。
3) SVPFE
在失去了 voxelwise features 之后，咱们利用了 SPConv 进行了 context information 的提取，SPConv 能够疾速扩充感触野的同时维持一个较低的内存的代价。另一点为了将 voxelwise features 从新 mapping 到 pointwise 的 feature，咱们引入了 Attentive Gathering Strategy 的操作相比于 bilinear gathering 操作，咱们的操作在 memory access cost 更低，能够缩小到 1 /8，因为咱们的 attentive gathering 操作仅仅只须要一次 nearest gathering。
4）Iterative Dual-Representation Learning
当咱们有 voxelwise 跟 pointwise features 的时候，咱们能够在两种 features 中一直的迭代，一种表征的输出就是另一种表征的输入，整个框架最初非常灵活，能够在不同的表征不同的特色一直流传。
Experiment
咱们在室内室外的数据集下面都做了充沛的试验来验证咱们办法的有效性，同时咱们 DRINet 的计算代价也是相对来说比拟低，是一个更加轻量高效的模型。
Welcome to discuss
Reference:
PVCNN:Point-Voxel CNN for Efficient 3D Deep Learning
SPVNas: Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution
对于 DeepRoute Lab
深圳元戎启行科技有限公司（DEEPROUTE.AI）是一家专一于研发 L4 级主动驾驶技术的科技公司，聚焦出行和同城货运两大场景，领有“元启行”（Robotaxi 主动驾驶乘用车）和“元启运”（Robotruck 主动驾驶轻卡）两大产品线。
【Deeproute Lab】是咱们开办的主动驾驶学术产业前沿常识共享平台。咱们将会把公司外部的 paper reading 分享在这里，让你轻松读懂 paper；咱们也会在这里分享咱们对行业的了解，期待越来越多的同学意识主动驾驶，退出这个行业！