爱吧机器人网 » 技术 > 机器学习 > 正文

深度学习助力动作捕捉技术

马的四蹄会不会同时离地?130多年前,英国著名摄影师迈布里奇利用横跨赛道的紧绷绳子控制快门,马匹跑过时自动触发拍照,由此解决了这个争论已久的话题。这可能是“动作捕捉”技术的鼻祖。

如今,基于视频记录的动作捕捉技术已经广泛应用于动画制作、体育训练、人机工程等领域,其核心是将运动物关键部位的动作处理成计算机数据。不过,这要么需要人力费时费力地逐帧标记,要么需要在研究对象上放置标记物,实用场景十分有限。

当地时间8月21日,英国《自然-神经科学》期刊上发表的一篇论文,介绍了一种经过深度学习训练后,实现自动捕捉动物运动的软件DeepLabCut。其精细程度可以跟踪果蝇产卵、伸吻,以及小鼠每一个脚趾的轨迹。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
跟踪果蝇

值得一提的是,开发者已经将DeepLabCut放在了开源网站GitHub上,其他研究人员可以免费下载,经过几小时的简单标记后,就能定制软件捕捉特定动物,乃至人类的运动。

开发该款软件的美国哈佛大学神经科学家夫妇Mackenzie Mathis和Alexander Mathis原本打算研究小鼠对气味的追踪行为,需要在视频里对小鼠鼻头进行标记跟踪。然而,他们没有找到现成的便捷工具,神经科学家常用的闪光标记物也难以用在微小的鼠头上,由此萌生了自己编一款软件的想法。他们选择了一款用于识别人类照片的深度学习框架,改造到动物身上。

Mathis团队首先利用一个大型目标识别图像数据库ImageNet对DeepLabCut进行了预训练,教会系统如何区分不同动物,并识别具体的身体部位,比如小鼠的爪子、斗鱼的鱼鳍。这样可以大大节省后续训练所需的数据。

接着,他们教会系统不仅是跟踪某一个身体部位,而是同时捕捉所有的标记部位。这能辅助彼此间的精确定位。

最后,团队进行了跨物种的检验和校准,在论文中演示了对果蝇和小鼠两种物种的动作跟踪。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
跟踪小鼠

如果你要利用这个软件捕捉你家猫的动作,只需要在视频中选取几帧或几十帧,点击鼠标标注猫头、猫尾巴和每只猫爪的位置,深度学习算法就会自动覆盖整个视频的每一帧。

目前,该软件已经应用于其他团队的动物研究。DeepLabCut网站上列举了一些案例:

密歇根大学的Daniel Leventhal团队跟踪大鼠受训抓取的动作。过程中人工标记了180帧。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
哥伦比亚大学的Nate Sawtell实验室跟踪小鼠在踏板上的动作。旁边放置了一块镜子,算法同时捕捉两个视角上的轨迹。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
Nate Sawtell实验室还跟踪了电鱼的游泳动作。

人工智能自动跟踪果蝇产卵、小鼠伸爪,大大降低动作捕捉成本
在同期发表的一篇评议文章中,北京大学心理学系教授魏坤琳与宾夕法尼亚大学Konrad Kording肯定了这项研究的价值。DeepLabCut理论上可以处理任何视频中的动作,现在互联网上的海量视频数据,将成为科学家们的富矿。

进一步展望未来,原本昂贵而费尽的动作捕捉技术会飞入寻常百姓家。

譬如,现在只有顶级运动员才能享受动作捕捉技术,且需要专业人士进行配套的分析。在未来,也许每个人在健身房里就可以在软件的指导下更科学、更有效地锻炼。

同理,物理治疗和医疗康复项目中的动作捕捉技术十分昂贵,一些医生只能靠肉眼观察进行主观判断。普适而便捷的视频动作分析将掀开精准医疗史上全新的一页。

Mathis夫妇表示,他们已经收到了一些意想不到的邮件,比如科学家希望研究章鱼等软体动物以研发手术机器人,体育界人士希望分析棒球运动员的投球动作,甚至有一家公司希望用他们的软件分析赛马的胜率。



上一篇:Salesforce开源每日30亿次推测的ML函数库 训练AI只要数小时
下一篇:AutoML:深度学习的学习器
精选推荐
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算
谷歌《Nature》发论文称实现量子霸权 18亿倍速碾压世界最强超算

[2019-10-23]  谷歌坚称自己已经取得了量子霸权——这标志着计算研究领域的一个重要里程碑。谷歌首次发布声明是在今年9月,虽然遭到竞争对手的质疑,但就 ...

搭载人工智能的太空机器人CIMON 2乘SpaceX抵达国际空间站
搭载人工智能的太空机器人CIMON 2乘SpaceX抵达国际空间站

[2019-12-09]  12月5日,搭载人工智能的太空机器人西蒙2号(CIMON 2)乘坐SpaceX火箭Dragon货运舱,从佛罗里达州卡纳维拉尔角空军基地升空,前往国际空间 ...

美国普渡大学研发快动作软体机器人,灵感来自变色龙舌头捕食
美国普渡大学研发快动作软体机器人,灵感来自变色龙舌头捕食

[2019-10-31]  本文图片均来自:Ramses v Martinez 普渡大学变色龙、蝾螈和许多蟾蜍利用积蓄的弹性能量,向距离1 5倍体长的毫无防备的昆虫伸出粘糊糊的舌 ...

基于生物启发的机器人很容易适应丢失附属器官
基于生物启发的机器人很容易适应丢失附属器官

[2017-12-17]  很多机器人被设计应用在危险环境,如灾难现场。在这些地方,他们的运动系统完全有可能被损坏。那这样会吓跑这些机器人吗?也许不是,如果它们像日本的东北和北海道大学创造的......

从AI中窥探人性
从AI中窥探人性

[2018-01-03]  人们对人造智能的恐惧早已成为科幻书籍和电影的极好题材。但现在,一些同样的担忧开始影响关于现实世界AI技术的政策讨论。如果这样的担忧演变成为一种技术恐慌...

智能农业:种地的事儿未来全交给这些机器人吧
智能农业:种地的事儿未来全交给这些机器人吧

[2019-12-07]  SRC公司创始人Sam与温波尔庄园农场经理Callum Weir以及监控机器人Tom总部位于英国的农业科技初创公司SRC(Small Robot Company),正在 ...

麻省理工学院最新研究:优化软体机器人的控制和设计
麻省理工学院最新研究:优化软体机器人的控制和设计

[2019-11-24]  软体机器人属于一个新的领域,它可能在诸如外科手术等领域发挥重要作用(手术时的纳米机器人需要在人体内部移动而不损伤软组织)。软体机器 ...

谷歌在中国成立一个新的人工智能(AI)研究中心
谷歌在中国成立一个新的人工智能(AI)研究中心

[2017-12-13]  谷歌正在中国建立一个新的人工智能(AI)研究中心,希望进一步扩展到中国,以充分利用中国高度重视的人工智能技术。人工智能是目前地球上最具竞争力的领域之一,亚马逊,微软......

本周栏目热点

深度学习反向传播算法(BP)原理推导及代码实现

[2017-12-19]  分析了手写字数据集分类的原理,利用神经网络模型,编写了SGD算法的代码,分多个epochs,每个 epoch 又对 mini_batch 样本做多次迭代计算。这其中,非常重要的一个步骤,......

如何在机器学习项目中使用统计方法的示例

[2018-07-23]  事实上,机器学习预测建模项目必须通过统计学方法才能有效的进行。在本文中,我们将通过实例介绍一些在预测建模问题中起关键作用的统计学方法。...

[2017-08-28]  模拟退火(Simulated Annealing,简称SA)是一种通用概率算法,用来在一个大的搜寻空间内找寻命题的最优解。1、固体退火原理:将固体加温 ...

Machine Learning-感知器分类算法详解

[2018-05-31]  今天我们来讲解的内容是感知器分类算法,本文的结构如下:什么是感知器分类算法,在Python中实现感知器学习算法,在iris(鸢尾花)数据集上训练一个感知器模型,自适应线性神......

机器人是怎么深度学习的?

[2016-03-29]      一个人独处时,感觉有点孤单,怎么办?微软亚洲研究院推出的微软小冰,或许 ...