爱吧机器人网 » 技术 > 人工智能 > 正文

Google AI用“语义连贯”将对象物逼真地乱入各种场景制作

对于计算机而言,通过后期制作软件来布置场景实际上相当不易。它不仅需要确定所述对象的适当位置,同时需要尝试预测对象在目标位置的外观:比例,遮挡,姿势和形状等等。

幸运的是,人工智能有望伸出援助之手。上周NeurIPS 2018大会公布了一篇论文(“Context-Aware Synthesis and Placement of Object Instances(对象实例的情景感知合成和放置)”,韩国首尔国立大学,美国加州大学美熹德分校,以及Google AI的研究人员描述了一种能够以“语义连贯”的方式来将对象插入至图像中的系统。

研究人员写道:“对于将对象插入符合情景语义的图像之中,这是一项具有挑战性和有趣的任务。与此同时,这项任务与众多实际应用密切相关,包括图像合成,AR和VR内容编辑…这样的对象插入模型可能有助于众多的图像编辑和场景解析应用程序。”


他们的端到端框架包括两个模块:一个模块确定在哪里插入对象;另一个模块确定插入后的样式。系统将利用GAN,或者由生成器(生成样品和鉴别器)组成的二体神经网络,然后试图区分生成的样本和真实世界的样本。因为系统同时对插入图像的分布建模,所以两个模块能够相互通信并相互优化。

论文作者写道:“这项研究的主要技术创新在于,我们构建了一个端到端的可训练神经网络,能够从联合分布中为新对象采样合理的位置和形状。合成对象实例既可以用作基于GAN的方法的输入,也能够从现有数据集中检索最近的区段以生成新图像。”

研究人员解释道,生成器可以预测“可信的”的位置并生成具有“语义连贯”比例,姿势和形状的对象蒙版,特别是关于对象在场景中的分布方式,以及如何自然地插入对象。随着时间的推移,人工智能系统将能够根据场景条件学习每个类别的不同分布。例如在城市街道的图像中,人类往往出现在人行道上,而汽车通常出现在道路上。

在测试中,研究人员的模型能够插入逼真形状的对象。当图像识别器YOLOv3应用于AI产生的图像时,检测合成对象的召回率是0.79。更有说服力的是,在对亚马逊Mechanical Turk工作人员的调查中,43%的受访者认为人工智能生成的对象是真实对象。

论文指出:“这表明我们的方法能够执行对象合成和插入任务。由于我们的方法能够同时建模‘在哪里’和‘什么样’,它可以用于解决其他计算机视觉问题。未来有趣的研究之一是处理对象之间的遮挡。”



上一篇:第四范式论文登国际顶级期刊 AI为攻破生物化学难题提供新思路
下一篇:Python 驾乘AI之力,碾压Java、C++等老牌语言?
精选推荐
这些人型机器人是如此真实,你的肉眼几乎无法区分
这些人型机器人是如此真实,你的肉眼几乎无法区分

[2017-09-03]   我们生活在一个区分现实与幻想变得越来越困难的世界。由于机器人技术的进步,创造人工的人类正在逐渐接近完美的最终目标。我们现在看到的机器人不再只是一块发光二极管,......

Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出
助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出

[2017-12-25]  本文提出了一个大型的、长序列的、用于行人重识别的视频数据集,简称LVreID。与现有的同类数据集相比,该数据集具有以下特点:1)长序列:平均每段视频序列长为200帧,包含丰......

英伟达用联合学习创建医学影像AI 可共享数据和保护隐私
英伟达用联合学习创建医学影像AI 可共享数据和保护隐私

[2019-10-14]  英伟达(Nvidia)和伦敦国王学院(King’s College London)的人工智能研究人员利用联合学习训练了一种用于脑肿瘤分类的神经网络, ...

[2018-01-26]  纽约时报的报道,德国的研究人员已经开发出一种长约七分之一英寸的机器人,首先看起来不过是一小块橡皮条。然后它开始移动。机器人走路,跳跃,爬行,滚动和游泳。它甚至爬出......

亚马逊计划建一个4000万美元的机器人中心
亚马逊计划建一个4000万美元的机器人中心

[2019-11-07]  爱吧机器人网消息,亚马逊11月6日宣布了一项计划,计划在美国马萨诸塞州韦斯特伯勒建立一个4000万美元、35万平方英尺的机器人创新中心。新 ...

研究人员融合人类与AI的创造力 显著提高了深度学习的表现
研究人员融合人类与AI的创造力 显著提高了深度学习的表现

[2019-10-12]  由加拿大人工智能领域研究主席、滑铁卢大学系统设计工程教授Alexander Wong领导的一个团队开发了一种新型紧凑型神经网络家族,可以在智能 ...

比利时研发出可以自我愈合伤口的软体机器人
比利时研发出可以自我愈合伤口的软体机器人

[2017-09-03]  软体机器人是机器人技术的新兴领域; 他们“可以与人类相互作用,而不会杀死他们,并拿起像西红柿这样柔软的物体。” 从长远来看,布鲁塞尔大学队伍正在努力创建一个类似的材......

本周栏目热点

人工智能产业深度研究报告(二)

[2016-02-14]     4 人工智能生态格局展望:巨头与新贵共舞  4 1 人工智能将催生新一轮IT ...

英特尔研发新AI技术 通过照片构建虚构场景

[2017-08-21]  近日,斯坦福大学和英特尔共同研发了一项技术。在向他们的人工智能系统输入5000张德国街道照片后,该技术可在人类的辅助下,让系统构建 ...

OFO宣布进入4.0时代 人工智能竟是这样找车

[2017-09-27]  9月26日,OFO小黄车召开发布会,宣布OFO将进入到用科技重新定义共享的4 0时代,作为此次发布会的重点,OFO小黄蜂也成为了众所关注的焦点, ...

人工智能领衔未来生活 智能硬件或迎转折

[2016-03-03]     智能家电转型升级,硬件+内容双管齐下  在国家提倡互联网+战略的大背景下 ...

人工智能革命之下你会失业还是变得富有?

[2016-07-12]   最新一期的《经济学人》杂志的封面报道,将 人工智能 的发展对未来世界的影响和19世纪工业革命联系起来,机器的大规模应用是否会让工 ...