爱吧机器人网 » 技术 > 神经网络 > 正文

MIT用深度学习处理3D点云数据 应用于无人汽车等领域

如果你见过自动驾驶汽车,也许会对车顶上那个一直在旋转的圆柱体感到好奇。

\

\

这是一个雷达传感器,无人驾驶汽车依靠它在现实世界中进行导航。通过发射红外脉冲并测量其从物体反弹回来所用的时间,传感器创建出一个点云(point cloud),形成一个关于汽车周围环境的3D快照。

把未经处理的点云数据变得有实际意义并不容易,在机器学习时代以前,往往需要训练有素的工程师通过手工进行枯燥地详列他们想捕捉的特点。但来自MIT计算机科学与人工智能实验室(CSAIL)研究者们的一系列新论文显示,他们可以用深度学习自动化处理广泛的3D成像应用中的点云数据。

“今天的计算机视觉和机器学习中,90%的进展只处理二维图像,”MIT的Justin Solomon教授如是说,他是这一系列由博士生Yue Wang带头的论文的通讯作者。“我们的目标是解决‘更好地表征3D世界’这个基本需求,其应用不仅仅是在自动驾驶,而是任何需要理解3D形状的领域。”

需要从空间里大量的3D点中获得有意义的信息,先前大多数从数据中提取特征的方式都不是特别成功。在该研究团队的论文中,他们展现了新的分析点云的“EdgeConv”方式,即通过动态图卷积神经网络(dynamic graph convolutional neural network)来分类和分割独立物体。

\

“通过建立邻近点的图,算法可以捕获层次模式( hierarchical patterns )并因此推理出不同类型的通用信息用于各种下游任务。”Toyota Research Institute的机器学习科学家Wadim Kehl说道。

除了开发“ EdgeConv ”,团队还探索了点云处理的其他特殊方面。比如,其中一个挑战就是大多数传感器当它们在3D世界中转悠的时候总是改变角度;每次我们对一个物体重新扫描,它的位置可能与上一次我们看见它的时候不同。把多种点云融合到一个唯一的世界视角,你需要在一个叫做“ registration ”的进程中对齐或校准各种3D点。

从卫星数据到医疗手术,“registration”对于许多成像形式都至关重要。例如,当医生需要对病人进行多次磁共振成像扫描时,“registration”使扫描结果能够校准以找出变化。

“‘registration’是让我们能够将不同来源的三维数据集成到一个共同的坐标系中,”Yue Wang说,“没有它,我们实际上就无法从所有这些已开发的方法中获得有意义的信息。”

Solomon和Wang的第二篇论文展示了一种称为“ Deep Closest Point ”(DCP)的新 registration 算法,该算法能够更好地找到点云的识别模式、点和边(称为“ local features ”),以便将其与其他点云对齐。这对于自动驾驶汽车在场景中定位(“ localization ”)以及机器人手定位和抓取单个物体等任务尤其重要。

DCP的一个局限是,它假设我们可以看到一个完整的形状,而不仅仅是一侧。这意味着它无法处理更困难对齐形状的部分视角( partial-to-partial registration)的任务。因此,在第三篇论文中,研究人员提出了一种改进的算法,称之为 Partial Registration Network (PRNet) 。

Solomon说,与2D图像和照片相比,现有的3D数据往往不结构化和难以处理。他的团队试图找出如何在没有很多机器学习技术所需的可控环境下,从所有无序的3D数据中获得有意义的信息。

DCP和PRNet成功背后的一个关键观察是,点云处理的一个重要方面是背景。点云A上的几何特征暗示了将其与点云B对齐的最佳方式,这可能与将其与点云C对齐所需的特征不同。例如,在 partial registration 中,一个点云中形状的有趣部分可能在另一个点云中不可见,这使其对registration无效。

Wang 说,该团队的工具已经被计算机视觉社区和其他领域的许多研究人员使用。甚至物理学家也在使用它们来实现csail团队从未考虑过的应用:粒子物理学。

接下来,研究人员希望在真实世界的数据上使用这些算法,包括从自动驾驶汽车上收集的数据。Wang 说,他们还计划探索利用自我监督学习训练系统的潜力,以尽量减少所需的人类注释。

Solomon和Wang是DCP和PRNET论文的两位唯一作者。他们在 EdgeConv 论文上的共同作者是研究助理 Yongbin Sun 和麻省理工学院的 Sanjay Sarma 教授,以及加州大学伯克利分校的 Ziwei Liu 博士后和伦敦帝国理工学院的 Michael M. Bronstein 。

这些项目在一定程度上得到了美国空军、美国陆军研究办公室、亚马逊、谷歌研究公司、IBM、国家科学基金会、斯科尔特理工学院Next Generation项目和丰田研究所的支持。

——end——

爱吧机器人网原创



上一篇:可编辑神经网络,有望简化深度学习?
下一篇:深度神经网络揭示了大脑喜欢看什么
精选推荐
麻省理工学院最新研究:优化软体机器人的控制和设计
麻省理工学院最新研究:优化软体机器人的控制和设计

[2019-11-24]  软体机器人属于一个新的领域,它可能在诸如外科手术等领域发挥重要作用(手术时的纳米机器人需要在人体内部移动而不损伤软组织)。软体机器 ...

九台“猎豹”机器人组队踢球,麻省理工高材生们的高级趣味
九台“猎豹”机器人组队踢球,麻省理工高材生们的高级趣味

[2019-11-09]  本周,在麻省理工学院10号楼外草坪上展开了一场别开生面的足球比赛。在绿草如茵的基利安球场上,一群由人工智能驱动的机器人就是这场比赛的 ...

什么是机器人学?机器人学简介
什么是机器人学?机器人学简介

[2017-12-14]  机器人学是工程学与科学的交叉学科,包括机械工程,电气工程,计算机科学等。机器人技术涉及机器人的设计、制造、操作和应用,以及用于控制、感官反馈和信息处理的计算机系统。...

苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展
苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展

[2017-12-11]  苹果隐秘的自动驾驶汽车项目多年来一直在转移焦点,但今年似乎正在加速。 4月份,公司获得了在加利福尼亚州进行自动驾驶汽车测试的许可证,而在6月份,苹果公司首席执行官库......

从AI中窥探人性
从AI中窥探人性

[2018-01-03]  人们对人造智能的恐惧早已成为科幻书籍和电影的极好题材。但现在,一些同样的担忧开始影响关于现实世界AI技术的政策讨论。如果这样的担忧演变成为一种技术恐慌...

南加州大学机器人学家:机器人更适合粗暴的爱
南加州大学机器人学家:机器人更适合粗暴的爱

[2019-11-07]  图片来自JOHN MADERE GETTY IMAGES打是疼骂是爱,当人类粗暴的将物体从机器人手中敲掉,看似残忍,实际上却能帮助机器人找到最好的握持物 ...

受大脑控制的机器人
受大脑控制的机器人

[2017-03-21]   想让机器人做我们想做的,首先,他得全面地了解我们。通常,这就意味着人类需要要付出更多。比如,教机器人复杂的人类语言或者把一项任务 ...

集群机器人领域最新研究:一种用于探测未知环境的微型无人机群
集群机器人领域最新研究:一种用于探测未知环境的微型无人机群

[2019-10-26]  (图:无人机扩散至不同方向来探索环境。当一个无人机注意到另一个无人机在它的首选方向,它将试图飞到另一个方向。若首选方向冲突,低优先 ...

本周栏目热点

神经网络结构在命名实体识别(NER)中的应用

[2018-01-17]  近年来,基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别(Named Entity Recognition,NER)也不例外,神经网络结......

深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...

神经网络和模糊逻辑的工作流

[2016-11-20]   行业观察 神经网络 和模糊逻辑的工作流 null 来源:神州数码erp 发布时间: 2009-10-14 9:06:01 关键词: 工作流,协同,B2B,OA  以下 ...

[2016-11-20]      神经网络 是一种运算模型,由大量的节点(或称神经元)和之间相互连接构成。每个节点代表一种特定的输出函数,称为激励函数(Activ ...

[2016-11-20]     黄希敏(陕西教育学院 陕西 西安 710061)  BP(Back Propagation) 神经网络 是一种多层前馈 神经网络 ,该网络的主要特点 ...