干货！SpareNet：基于样式和对抗性渲染的点云补全

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

在本文中，我们提出了一种基于样式和对抗性可微分渲染的点云生成器(SpareNet) 用于点云补全。首先，我们提出了基于通道注意力的EdgeConv,以充分利用点云特征的局部结构和全局形状。其次，我们观察到基于折叠(Folding) 的点云生成方法中拼接(concatenation) 的操作限制了其生成复杂且真实形状的潜力。受到StyleGAN的启发，我们将形状特征视为样式码，在折叠过程中用其调节归一化层，这大大增强了生成器的表达能力。第三，我们意识到现有的点云监督，例如倒角距离(Chamfer Distance)或推土机距离(Earth Mover's Distance)，不能如实地反映重建点云的视觉质量。为了解决这个问题，我们使用可微分渲染器将补全的点云投影到深度图，并应用对抗性训练来倡导不同视角下的视觉真实性。ShapeNet和KITTI上的大量实验证明了我们方法的有效性，该方法实现了最先进的量化性能，同时提供了卓越的视觉质量。

本期AI TIME PhD直播间，我们邀请到了伊利诺伊大学厄巴纳香槟分校计算机系博士生谢楚琳，为我们带来报告分享——《Style-based Point Generator with Adversarial Rendering for Point Cloud Completion》

谢楚琳：

伊利诺伊大学厄巴纳香槟分校计算机系一年级博士生，本科毕业于浙江大学，目前以第一作者在 ICML、CVPR、ICLR 等会议上发表论文，曾在阿里、微软亚洲研究院和字节跳动等公司实习。

个人主页：

https://alphapav.github.io/

01

 背  景 

（1）问题描述

点云是计算机视觉领域非常热门的话题，在自动驾驶、三维重建、室内导航、增强现象（AR）、机器人等视觉任务场景中都有广泛的应用。直接从三维传感器获取的点云往往因为传感器分辨率的限制或者一些物体遮挡等因素导致生成的点云是稀疏的、不完整的。如下图直接得到的沙发点云缺失很多细节，导致无法区分该点云的类别是桌子还是沙发，当我们利用计算机技术进行点