爱吧机器人网 » 技术 > 神经网络 > 正文

MIT用深度学习处理3D点云数据 应用于无人汽车等领域

如果你见过自动驾驶汽车,也许会对车顶上那个一直在旋转的圆柱体感到好奇。

\

\

这是一个雷达传感器,无人驾驶汽车依靠它在现实世界中进行导航。通过发射红外脉冲并测量其从物体反弹回来所用的时间,传感器创建出一个点云(point cloud),形成一个关于汽车周围环境的3D快照。

把未经处理的点云数据变得有实际意义并不容易,在机器学习时代以前,往往需要训练有素的工程师通过手工进行枯燥地详列他们想捕捉的特点。但来自MIT计算机科学与人工智能实验室(CSAIL)研究者们的一系列新论文显示,他们可以用深度学习自动化处理广泛的3D成像应用中的点云数据。

“今天的计算机视觉和机器学习中,90%的进展只处理二维图像,”MIT的Justin Solomon教授如是说,他是这一系列由博士生Yue Wang带头的论文的通讯作者。“我们的目标是解决‘更好地表征3D世界’这个基本需求,其应用不仅仅是在自动驾驶,而是任何需要理解3D形状的领域。”

需要从空间里大量的3D点中获得有意义的信息,先前大多数从数据中提取特征的方式都不是特别成功。在该研究团队的论文中,他们展现了新的分析点云的“EdgeConv”方式,即通过动态图卷积神经网络(dynamic graph convolutional neural network)来分类和分割独立物体。

\

“通过建立邻近点的图,算法可以捕获层次模式( hierarchical patterns )并因此推理出不同类型的通用信息用于各种下游任务。”Toyota Research Institute的机器学习科学家Wadim Kehl说道。

除了开发“ EdgeConv ”,团队还探索了点云处理的其他特殊方面。比如,其中一个挑战就是大多数传感器当它们在3D世界中转悠的时候总是改变角度;每次我们对一个物体重新扫描,它的位置可能与上一次我们看见它的时候不同。把多种点云融合到一个唯一的世界视角,你需要在一个叫做“ registration ”的进程中对齐或校准各种3D点。

从卫星数据到医疗手术,“registration”对于许多成像形式都至关重要。例如,当医生需要对病人进行多次磁共振成像扫描时,“registration”使扫描结果能够校准以找出变化。

“‘registration’是让我们能够将不同来源的三维数据集成到一个共同的坐标系中,”Yue Wang说,“没有它,我们实际上就无法从所有这些已开发的方法中获得有意义的信息。”

Solomon和Wang的第二篇论文展示了一种称为“ Deep Closest Point ”(DCP)的新 registration 算法,该算法能够更好地找到点云的识别模式、点和边(称为“ local features ”),以便将其与其他点云对齐。这对于自动驾驶汽车在场景中定位(“ localization ”)以及机器人手定位和抓取单个物体等任务尤其重要。

DCP的一个局限是,它假设我们可以看到一个完整的形状,而不仅仅是一侧。这意味着它无法处理更困难对齐形状的部分视角( partial-to-partial registration)的任务。因此,在第三篇论文中,研究人员提出了一种改进的算法,称之为 Partial Registration Network (PRNet) 。

Solomon说,与2D图像和照片相比,现有的3D数据往往不结构化和难以处理。他的团队试图找出如何在没有很多机器学习技术所需的可控环境下,从所有无序的3D数据中获得有意义的信息。

DCP和PRNet成功背后的一个关键观察是,点云处理的一个重要方面是背景。点云A上的几何特征暗示了将其与点云B对齐的最佳方式,这可能与将其与点云C对齐所需的特征不同。例如,在 partial registration 中,一个点云中形状的有趣部分可能在另一个点云中不可见,这使其对registration无效。

Wang 说,该团队的工具已经被计算机视觉社区和其他领域的许多研究人员使用。甚至物理学家也在使用它们来实现csail团队从未考虑过的应用:粒子物理学。

接下来,研究人员希望在真实世界的数据上使用这些算法,包括从自动驾驶汽车上收集的数据。Wang 说,他们还计划探索利用自我监督学习训练系统的潜力,以尽量减少所需的人类注释。

Solomon和Wang是DCP和PRNET论文的两位唯一作者。他们在 EdgeConv 论文上的共同作者是研究助理 Yongbin Sun 和麻省理工学院的 Sanjay Sarma 教授,以及加州大学伯克利分校的 Ziwei Liu 博士后和伦敦帝国理工学院的 Michael M. Bronstein 。

这些项目在一定程度上得到了美国空军、美国陆军研究办公室、亚马逊、谷歌研究公司、IBM、国家科学基金会、斯科尔特理工学院Next Generation项目和丰田研究所的支持。

——end——

爱吧机器人网原创



上一篇:可编辑神经网络,有望简化深度学习?
下一篇:深度神经网络揭示了大脑喜欢看什么
精选推荐
哈佛大学《自然》发表新驱动技术,让飞行机器人悬停且不受损伤
哈佛大学《自然》发表新驱动技术,让飞行机器人悬停且不受损伤

[2019-11-06]  哈佛大学研究人员发表在《自然》杂志上的一项最新研究,他们开发了一种由柔软的人造肌肉驱动的机器人蜜蜂(RoboBee),这种机器人在撞墙、 ...

可编辑神经网络,有望简化深度学习?
可编辑神经网络,有望简化深度学习?

[2019-10-04]  深度学习是一个计算繁重的过程。 降低成本一直是 Data curation 的一大挑战。 关于深度学习神经网络大功耗的训练过程,已经有研究人员 ...

麻省理工最新机器人“装配工”未来可建造太空基地
麻省理工最新机器人“装配工”未来可建造太空基地

[2019-10-17]  两个机器人原型把一系列小单元组装成大结构体麻省理工学院科研人员最近提出一种新型机器人技术,即一种小型机器人系统,能够自主地用统一规 ...

Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

机器人从工业走向家庭  库卡KUKA目标是引领中国市场
机器人从工业走向家庭 库卡KUKA目标是引领中国市场

[2017-12-08]  机器人正在改变着人们的生活方式,而库卡KUKA想要在中国这个大蛋糕中占有一块大份额,库卡公司正在引领市场...

亚马逊计划建一个4000万美元的机器人中心
亚马逊计划建一个4000万美元的机器人中心

[2019-11-07]  爱吧机器人网消息,亚马逊11月6日宣布了一项计划,计划在美国马萨诸塞州韦斯特伯勒建立一个4000万美元、35万平方英尺的机器人创新中心。新 ...

美国Natilus公司试飞水上无人货机 设计简单成本降低
美国Natilus公司试飞水上无人货机 设计简单成本降低

[2017-12-28]  Natilus创业公司成立于2014年,其梦想是建造大型无人机,以半价提供比船舶快得多国际货运。在十二月份,Natilus计划在旧金山湾测试一个9米翼展的小型原型无人机的水上滑行能力......

如何让人工智能机器人快速自我纠正错误并吃一堑长一智?
如何让人工智能机器人快速自我纠正错误并吃一堑长一智?

[2017-08-23]  莱斯特大学数学系的研究人员在《Neural Networks》杂志上发表了一篇文章,概述了新算法的数学基础,可以使人工智能收集错误报告并立即纠正,而不影响现有技能 ,同时还会积......

本周栏目热点

飞桨火力全开,重磅上线3D模型:PointNet++、PointRCNN!

[2020-03-26]  11 年前的「阿凡达」让少年的我们第一次戴上 3D 眼镜,声势浩大的瀑布奔流而下,星罗棋布飘浮在空中的群山,无一不体现着对生命的敬意, ...

神经网络结构在命名实体识别(NER)中的应用

[2018-01-17]  近年来,基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别(Named Entity Recognition,NER)也不例外,神经网络结......

从基础概念到数学公式,这是一份520页的机器学习笔记(图文并茂)

[2018-06-19]  近日,来自SAP(全球第一大商业软件公司)的梁劲(Jim Liang)公开了自己所写的一份 520 页的学习教程(英文版),详细、明了地介绍了机器学习中的相关概念、数学知识和各......

50行代码玩转生成对抗网络GAN模型!(附源码)

[2018-07-30]  本文为大家介绍了生成对抗网络(Generate Adversarial Network,GAN),以最直白的语言来讲解它,最后实现一个简单的 GAN 程序来帮助大家加深理解。...

深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...