爱吧机器人网 » 技术 > 人工智能 > 正文

Google AI用“语义连贯”将对象物逼真地乱入各种场景制作

对于计算机而言,通过后期制作软件来布置场景实际上相当不易。它不仅需要确定所述对象的适当位置,同时需要尝试预测对象在目标位置的外观:比例,遮挡,姿势和形状等等。

幸运的是,人工智能有望伸出援助之手。上周NeurIPS 2018大会公布了一篇论文(“Context-Aware Synthesis and Placement of Object Instances(对象实例的情景感知合成和放置)”,韩国首尔国立大学,美国加州大学美熹德分校,以及Google AI的研究人员描述了一种能够以“语义连贯”的方式来将对象插入至图像中的系统。

研究人员写道:“对于将对象插入符合情景语义的图像之中,这是一项具有挑战性和有趣的任务。与此同时,这项任务与众多实际应用密切相关,包括图像合成,AR和VR内容编辑…这样的对象插入模型可能有助于众多的图像编辑和场景解析应用程序。”


他们的端到端框架包括两个模块:一个模块确定在哪里插入对象;另一个模块确定插入后的样式。系统将利用GAN,或者由生成器(生成样品和鉴别器)组成的二体神经网络,然后试图区分生成的样本和真实世界的样本。因为系统同时对插入图像的分布建模,所以两个模块能够相互通信并相互优化。

论文作者写道:“这项研究的主要技术创新在于,我们构建了一个端到端的可训练神经网络,能够从联合分布中为新对象采样合理的位置和形状。合成对象实例既可以用作基于GAN的方法的输入,也能够从现有数据集中检索最近的区段以生成新图像。”

研究人员解释道,生成器可以预测“可信的”的位置并生成具有“语义连贯”比例,姿势和形状的对象蒙版,特别是关于对象在场景中的分布方式,以及如何自然地插入对象。随着时间的推移,人工智能系统将能够根据场景条件学习每个类别的不同分布。例如在城市街道的图像中,人类往往出现在人行道上,而汽车通常出现在道路上。

在测试中,研究人员的模型能够插入逼真形状的对象。当图像识别器YOLOv3应用于AI产生的图像时,检测合成对象的召回率是0.79。更有说服力的是,在对亚马逊Mechanical Turk工作人员的调查中,43%的受访者认为人工智能生成的对象是真实对象。

论文指出:“这表明我们的方法能够执行对象合成和插入任务。由于我们的方法能够同时建模‘在哪里’和‘什么样’,它可以用于解决其他计算机视觉问题。未来有趣的研究之一是处理对象之间的遮挡。”



上一篇:第四范式论文登国际顶级期刊 AI为攻破生物化学难题提供新思路
下一篇:Python 驾乘AI之力,碾压Java、C++等老牌语言?
精选推荐
机器人工程师具体都做什么?
机器人工程师具体都做什么?

[2017-12-08]  机器人工程师是幕后设计师,负责创建机器人和机器人系统,能够执行人类无法完成或不愿意完成的任务。 通过他们的创造,机器人工程师帮助工作更安全,更轻松,更高效,特别是......

美国人工智能公司Skymind进入福建全面开展业务
美国人工智能公司Skymind进入福建全面开展业务

[2017-12-11]  人工智能在当今这个时代对大家来说想必是非常熟悉的,这也是我国近十几年来一直追求的目标,未来的时间里这也将是全人类追求的目标。就目前来看,近年来,人工智能或在我国迎......

助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出
助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出

[2017-12-25]  本文提出了一个大型的、长序列的、用于行人重识别的视频数据集,简称LVreID。与现有的同类数据集相比,该数据集具有以下特点:1)长序列:平均每段视频序列长为200帧,包含丰......

基于生物启发的机器人很容易适应丢失附属器官
基于生物启发的机器人很容易适应丢失附属器官

[2017-12-17]  很多机器人被设计应用在危险环境,如灾难现场。在这些地方,他们的运动系统完全有可能被损坏。那这样会吓跑这些机器人吗?也许不是,如果它们像日本的东北和北海道大学创造的......

机器人iCub作为嵌入式AI的标准机器人研究平台的重要性
机器人iCub作为嵌入式AI的标准机器人研究平台的重要性

[2017-12-24]  机器人的研究在过去10年中得益于一个具有嵌入式人工智能(AI)的标准化开源平台——人形机器人iCub。iCub最初在意大利被创建,如今在欧洲、美国、韩国、新加坡和日本的实验室......

MIT用深度学习处理3D点云数据 应用于无人汽车等领域
MIT用深度学习处理3D点云数据 应用于无人汽车等领域

[2019-10-23]  如果你见过自动驾驶汽车,也许会对车顶上那个一直在旋转的圆柱体感到好奇。这是一个雷达传感器,无人驾驶汽车依靠它在现实世界中进行导航。 ...

谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算

[2019-10-23]  谷歌坚称自己已经取得了量子霸权——这标志着计算研究领域的一个重要里程碑。谷歌首次发布声明是在今年9月,虽然遭到竞争对手的质疑,但就 ...

2022年全球工业机器人市场将达到790亿美元
2022年全球工业机器人市场将达到790亿美元

[2017-09-04]  预计到 2022年, 全球工业机器人市场将达到790亿美元, 并在预测期内登记11 5% 的复合年增长率。随着发展中国家中小型企业需求的不断增长, 采用自动化技术以确保生产质量......

本周栏目热点

为你讲述大历史观视野下的人工智能

[2016-08-07]   人工智能 是当前科学技术发展的前沿。目前,关于 人工智能 的争论不仅在 科技 界,而且扩展到整个社会。争论围绕以下问题展开:其一, 人 ...

AISA人工智能主动防御系统—美国路演硅谷站

[2018-07-17]  26日 硅谷区块链大会。硅谷项目AISA异军凸起,首提AI人工智能威胁防御课题,引起了业界广泛关注。该项目极具创新性。参会人士对项目未来发展普遍看好,多家VC表示主动投资意向。...

从"陪练"到"赢家":人机博弈的六十年

[2016-03-11]   本报记者 常丽君自上世纪五十年代第一个博弈类计算机程序诞生以来,人机之间的博弈从未终止。60多年的 ...

人工智能机器人将要接管世界?

[1970-01-01]    人类对机器人的来临早有准备,只是化学和新陈代谢的速度极限决定了有机大脑的能力存在着极限。或许人类的大脑已经达到了那个顶峰,但对 ...

美媒:日本寄望人工智能重振科技业

[1970-01-01]   据美国《华尔街日报》12月1日报道,Daisuke Okanohara是东京 人工智能 公司Preferred Networks Inc 的 ...