爱吧机器人网 » 专题 > 应用 > 正文

MIT又一突破!用AI过滤音源 让音乐更悦耳

核心提示:一般利用均衡器可以将音乐中的低音部分调出来,但是麻省理工学院的计算机科学和人工智能实验室(Computer Science and Artificial Intelligence Lab,CSAIL)的研究人员发现了更好的解决方案。他们所研

MIT又一突破!用AI过滤音源,让音乐更悦耳
【猎云网(微信号:)】7月9日报道(编译:杨卟咚)

一般利用均衡器可以将音乐中的低音部分调出来,但是麻省理工学院的计算机科学和人工智能实验室(Computer Science and Artificial Intelligence Lab,CSAIL)的研究人员发现了更好的解决方案。他们所研发的新系统 PixelPlayer,能够利用人工智能来区分和过滤声音,让音乐听起来更洪亮或更柔和。

将指定视频录入经过充分训练的 PixelPlayer,系统随机能够过滤伴奏,同时识别音源,接着计算图像中每个像素的音量,然后通过“空间定位”确定产生相似音波的片段。

今年9月,德国慕尼黑即将举行欧洲计算机视觉会议(European Conference on Computer Vision),会议中要发表的一篇新论文则详细论述了“像素的声音(The Sound of Pixels)”。麻省理工学院计算机科学和人工智能实验室的博士生,同时也是这篇论文的合著者 Zhao Hang 同学表示,“最好的情况就是,我们能识别出哪种乐器发出怎样的声音。”

MIT又一突破!用AI过滤音源,让音乐更悦耳
PixelPlayer 的核心是一种基于乐器组合多模态训练的神经网络,数据集采用了 Youtube 上 714 条未经修剪且未经标记的视频。其中,总时长为 60 小时的 500 条视频用于训练,剩余的则用于验证和测试。在训练过程中,研究人员分别根据原声吉他、大提琴、单簧管、长笛和其他乐器向系统馈入了算法。

这只是 PixelPlayer 多重机器学习框架的一个部分。经过训练后的视频分析算法将从剪辑帧中提取出视觉特征,这就是系统的第二个神经网络,即音频分析网络。音频分析网络将声音拆分为片段,并从中提取特征。最后,音频合成网络将把上述两个网络输出的特定像素和声波关联起来。

PixelPlayer 进行完全自监督的学习,人们无需对数据注释,而且系统目前已经能识别 20 种乐器。Zhao Hang 说,较大的数据集增强了系统的识别量,但识别乐器子类的能力却不佳。系统也可以识别音乐元素,例如小提琴的谐波频率。

研究人员认为 PixelPlayer 可以进行声音剪辑,或者帮助机器人理解动物、车辆和其他物体所制造的环境声音。他们写到,“我们希望我们的工作能够开辟新的研究途径,从视觉和听觉信号角度实现声源分离”。

上一篇:新专利 Affectiva利用AI解决疲劳驾驶
下一篇:人工智能新用途 AI可预测放射性物质扩散

本周栏目热点

[2018-07-22]  如果说我们现在是互联网的时代,未来一定是人工智能的天下,人工智能将会给整个世界带来的变革,不会弱于互联网。各行各业都被人工智能这个新技术撼动,外汇行业也不例外。...

日本机器人酒店推出“无人酒吧” 颇为人气

[2017-11-10]  现在最流行的服务并非是人类的服务,现在最流行的服务也并非就是贴心的服务,现在最流行的服务,是使用最新的人工智能机器人来服务...

 深圳交通已经有人工智能AI?云+人工智能前景太美好

[2018-06-26]  在6月26日华为云中国行深圳站现场,华为云计算首次对外公布了其全新智能体概念并结合具体实践行业做以解释。何谓智能体,华为云郑叶来给出 ...

人工智能用于化学分析 有望提升药物研发效率

[2018-07-23]  近日,英国研究人员开发出一种由人工智能驱动的机器人系统,能高效发现新的化学反应和分子。这项技术未来有望用于药物研发,从而达到缩短研发流程、降低成本的目的。...

当考试形式AI化后,如何平衡AI+教育的关系

[2018-07-23]  AI测评的好处是,不仅你接受AI,AI也理解你,传统测评若是单向街,AI测评则为双行道,而这种人才选拔方式能更直接反映出生长在数字化时代的人的思维和行为模式。...

唐马儒要失业了?阿里人工智能AI鉴黄师亮相 每天可处理10亿图片

[2018-09-19]  当年暴走漫画里的首席鉴黄师唐马儒先生让所有的网友爆笑不已,里面的唐马儒自述自从当上了鉴黄师,每天都要鉴别大量的图片视频,导致自己的 ...

现在的人工智能可以在瞬间识别慢性疾病

[2018-09-19]  2018年世界人工智能大会上,微软全球执行副总裁、微软人工智能及微软研究事业部负责人沈向洋博士公布了Airdoc和微软和礼来的合作,于此同时 ...

人工智能字幕现场直播服务

[2018-09-19]  你制作视频直播内容吗?如果是这样,可能会被要求为听力受损的观众提供字幕显示。 到目前为止,大部分解决方式都是非常昂贵和劳动密集的。 ...

精选推荐

谷歌在中国成立一个新的人工智能(AI)研究中心
谷歌在中国成立一个新的人工智能(AI)研究中心

[2017-12-13]  谷歌正在中国建立一个新的人工智能(AI)研究中心,希望进一步扩展到中国,以充分利用中国高度重视的人工智能技术。人工智能是目前地球上最具竞争力的领域之一,亚马逊,微软......

农业将为高科技行业 农业机器人的应用领域
农业将为高科技行业 农业机器人的应用领域

[2017-12-17]  农业正在迅速成为一个令人兴奋的高科技产业,吸引了新专业人士,新公司和新投资者。技术发展迅速,不仅提高了农民的生产能力,而且促进了我们所知道的机器人和自动化技术的发展。...

德国研发出一种能在你体内工作的微型机器人

[2018-01-26]  纽约时报的报道,德国的研究人员已经开发出一种长约七分之一英寸的机器人,首先看起来不过是一小块橡皮条。然后它开始移动。机器人走路,跳跃,爬行,滚动和游泳。它甚至爬出......

2018年企业数字化转型的五大趋势
2018年企业数字化转型的五大趋势

[2017-12-16]  据2016年哈佛商学院研究表明,选择进行数字化转型的企业在3年内表现出了55%的平均毛利润提升,相比之下其他企业毛利润同期降低了37%。数字化转型企业的领头羊,也曾是收入处于......

CES 2018:英特尔推出49量子位芯片争夺量子霸权
CES 2018:英特尔推出49量子位芯片争夺量子霸权

[2018-01-10]  在与Google、IBM的一场关于建立量子计算系统的马拉松比赛中,英特尔通过了一个关键的里程碑。近日,这个科技巨头已经推出了一个49个量子位 ...

苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展
苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展

[2017-12-11]  苹果隐秘的自动驾驶汽车项目多年来一直在转移焦点,但今年似乎正在加速。 4月份,公司获得了在加利福尼亚州进行自动驾驶汽车测试的许可证,而在6月份,苹果公司首席执行官库......

智能机器人困惑的时候知道该问什么问题
智能机器人困惑的时候知道该问什么问题

[2017-03-20]   照片:Nick Dentamaro 布朗大学 上周,我们提到了麻省理工学院的一些研究,即通过链接人的大脑来帮助机器人在他们将要犯错误的时 ...

从AI中窥探人性
从AI中窥探人性

[2018-01-03]  人们对人造智能的恐惧早已成为科幻书籍和电影的极好题材。但现在,一些同样的担忧开始影响关于现实世界AI技术的政策讨论。如果这样的担忧演变成为一种技术恐慌...