爱吧机器人网 » 技术 > 人工智能 > 正文

Google AI用“语义连贯”将对象物逼真地乱入各种场景制作

对于计算机而言,通过后期制作软件来布置场景实际上相当不易。它不仅需要确定所述对象的适当位置,同时需要尝试预测对象在目标位置的外观:比例,遮挡,姿势和形状等等。

幸运的是,人工智能有望伸出援助之手。上周NeurIPS 2018大会公布了一篇论文(“Context-Aware Synthesis and Placement of Object Instances(对象实例的情景感知合成和放置)”,韩国首尔国立大学,美国加州大学美熹德分校,以及Google AI的研究人员描述了一种能够以“语义连贯”的方式来将对象插入至图像中的系统。

研究人员写道:“对于将对象插入符合情景语义的图像之中,这是一项具有挑战性和有趣的任务。与此同时,这项任务与众多实际应用密切相关,包括图像合成,AR和VR内容编辑…这样的对象插入模型可能有助于众多的图像编辑和场景解析应用程序。”


他们的端到端框架包括两个模块:一个模块确定在哪里插入对象;另一个模块确定插入后的样式。系统将利用GAN,或者由生成器(生成样品和鉴别器)组成的二体神经网络,然后试图区分生成的样本和真实世界的样本。因为系统同时对插入图像的分布建模,所以两个模块能够相互通信并相互优化。

论文作者写道:“这项研究的主要技术创新在于,我们构建了一个端到端的可训练神经网络,能够从联合分布中为新对象采样合理的位置和形状。合成对象实例既可以用作基于GAN的方法的输入,也能够从现有数据集中检索最近的区段以生成新图像。”

研究人员解释道,生成器可以预测“可信的”的位置并生成具有“语义连贯”比例,姿势和形状的对象蒙版,特别是关于对象在场景中的分布方式,以及如何自然地插入对象。随着时间的推移,人工智能系统将能够根据场景条件学习每个类别的不同分布。例如在城市街道的图像中,人类往往出现在人行道上,而汽车通常出现在道路上。

在测试中,研究人员的模型能够插入逼真形状的对象。当图像识别器YOLOv3应用于AI产生的图像时,检测合成对象的召回率是0.79。更有说服力的是,在对亚马逊Mechanical Turk工作人员的调查中,43%的受访者认为人工智能生成的对象是真实对象。

论文指出:“这表明我们的方法能够执行对象合成和插入任务。由于我们的方法能够同时建模‘在哪里’和‘什么样’,它可以用于解决其他计算机视觉问题。未来有趣的研究之一是处理对象之间的遮挡。”



上一篇:第四范式论文登国际顶级期刊 AI为攻破生物化学难题提供新思路
下一篇:Python 驾乘AI之力,碾压Java、C++等老牌语言?
精选推荐
农业将为高科技行业 农业机器人的应用领域
农业将为高科技行业 农业机器人的应用领域

[2017-12-17]  农业正在迅速成为一个令人兴奋的高科技产业,吸引了新专业人士,新公司和新投资者。技术发展迅速,不仅提高了农民的生产能力,而且促进了我们所知道的机器人和自动化技术的发展。...

谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图
谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图

[2019-10-26]  谷歌刚刚宣布,其搜索引擎的核心算法正在进行一项重大升级,这项升级可能会改变10%的搜索结果排序。此项升级应用了自然语言处理技术(BERT ...

瑞士研发出微型机器人集群 可像蚂蚁一样互相交流并协同工作
瑞士研发出微型机器人集群 可像蚂蚁一样互相交流并协同工作

[2019-07-12]  EPFL(瑞士联邦理工学院)的研究人员受到了蚂蚁的启发,开发了一款仅有10克重的小型机器人:他们可以相互交流,分配角色并完成复杂的任务。 ...

谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算

[2019-10-23]  谷歌坚称自己已经取得了量子霸权——这标志着计算研究领域的一个重要里程碑。谷歌首次发布声明是在今年9月,虽然遭到竞争对手的质疑,但就 ...

亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶机器人(巨型机甲)
亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶机器人(巨型机甲)

[2017-03-21]  近日,亚马逊CEO杰夫·贝佐斯实现了每一个6岁儿童都会有的梦想,他控制了一个巨大的机甲机器人。据国外媒体Verge报道,前天(3月19日),贝 ...

MIT最新“人机”互连系统 让双腿机器人复制人体技能
MIT最新“人机”互连系统 让双腿机器人复制人体技能

[2019-11-01]  MIT的小爱马仕想借用你的大脑 ,图片来自: João Ramos爱吧机器人网消息,麻省理工学院(MIT)的研究人员展示了一种新型遥操作系 ...

改变保险市场的格局:无人机如何通过更快的估算、响应时间和利益交付来使消费者受益
改变保险市场的格局:无人机如何通过更快的估算、响应时间和利益交付来

[2018-12-08]  市场研究公司IHS Markit预测,到2020年,专业无人机市场将通过农业,能源和建筑等行业利用测量,制图,规划等技术实现77 1%的复合年增长率(CAGR)。与此同时,消费者无人......

新型轻便机器人套装重5kg,辅助跑步和步行
新型轻便机器人套装重5kg,辅助跑步和步行

[2019-10-23]  虽然步行对大多数人来说似乎不是负担,但对有些人来说,这项简单的运动往往会让人感到筋疲力尽。比如手术或中风后恢复的患者、帕金森氏症患 ...

本周栏目热点

如何才能知道对方宣传的是伪AI? 只需问5个问题

[2017-03-15]  编者按:随着人工智能在图像识别、围棋、扑克等方面取得了重大突破,现在AI现在已经被炒上天去了。很多新推出的产品和服务都是言必称采用了 ...

AI人工智能:帮你测算恋爱的死亡日期

[2017-10-01]  AI是科技领域中的一个概念,而恋爱,是人类的一种情感。科技本身是没有情感的,因此,我们一般不会将AI与恋爱结合在一起,但是最近,由南加 ...

人工智能革命揭秘上篇(上)

[2016-03-09]   我们即将创造出一种新的生命形式,这个事件不仅是进化取得突破的标志,也有可能威胁到人类这个物种的生 ...

谷歌AI对弈围棋冠军李世石 3月9日看曹大元说棋

[2016-03-04]   3月9日,我们将迎来一场人机世纪大战!战书已升起,100万美元的奖金悬在空中。人工智能和人类大脑,究 ...

Facebook人工智能机器人生成照片以假乱真

[1970-01-01]    无论你是否认为面部识别令人毛骨悚然,很明显全球多家科技公司正在继续投资开发更强大的图像智能技术。  无论是微软的猜年龄机器人, ...