爱吧机器人网 » 技术 > 机器学习 > 正文

反向传播或将被抛弃 深度学习需另辟途径

核心提示:当年的神经系统还不如现如今这般流行,所有的研究都只是深度学习,而那时候我们就已经在思考一个问题:深度学习依赖的反向传播算法 (back-

当年的神经系统还不如现如今这般流行,所有的研究都只是深度学习,而那时候我们就已经在思考一个问题:深度学习依赖的反向传播算法 (back-prop) 显然是很不容易被人们所接受的,很难相信神经系统能够自动形成与正向传播对应的反向传播结构(这需要精准地求导数,对矩阵转置,利用链式法则,并且解剖学上从来也没有发现这样的系统存在的证据)。

另外一点是,神经系统是有分层的(比如视觉系统有 V1, V2 等等分层),但是层数不可能像现在的大型神经网络一样动不动就成百上千层(而且生物学上也不支持如此,神经传导速度很慢,不像用 GPU 计算神经网络一层可能在微秒量级,生物系统传导一次一般在 ms 量级,这么多层数不可能支持我们现在这样的反应速度,并且同步也存在问题)。

但是有趣的是,目前大多数研究指出,大脑皮层中普遍存在一种称为 Cortical minicolumn 的柱状结构,其内部含有上百个神经元,并存在分层。这意味着人脑中的一层并不是类似现在神经网络的一层,而是有复杂的内部结构。

神经系统
 
神经系统
 

不过 Hinton 也没有料到后来 CNN 发展的如此火,他当时的这篇论文没有怎么受到关注。这几年他也没有继续关注这个问题,因为 CNN,LSTM, NTM 等等问题太多太有趣。

不过到现在,CNN 的发展似乎到了一个瓶颈:特别大,特别深的网络;容易被对抗样本欺骗;仍然需要大量训练数据;无监督学习方面进展很少。

Hinton 在题主给的 视频 中重新分析了一下目前 CNN 的问题,主要集中在 Pooling 方面(我认为可以推广到下采样,因为现在很多 CNN 用卷积下采样代替 Pooling 层)。Hinton 认为,过去人们对 Pooling 的看法是能够带来 invariance 的效果,也就是当内容发生很小的变化的时候(以及一些平移旋转),CNN 仍然能够稳定识别对应内容。

Hinton 觉得这是一个错误的方向。他给出了一个心理学实验的例子,这个例子要求判断两个 R 是否是一样的,仅仅因为旋转导致不同:

心理学实验
 

(几乎所有)人的做法是下意识的旋转左侧的 R,“看” 它们是否重合。

但是按照 CNN 的 invariance 的想法完全不是这么做。如果你对训练神经网络有经验,你可能会想到我们在做图像预处理和数据拓增的时候,会把某些 图片 旋转一些角度,作为新的样本,给神经网络识别。这样 CNN 能够做到对旋转的 invarience,并且是 “直觉上” 的 invariance,根本不需要像人那样去旋转图片,它直接就 “忽视” 了旋转,因为我们希望它对旋转 invariance。

CNN 同样强调对空间的 invariance,也就是对物体的平移之类的不敏感(物体不同的位置不影响它的识别)。这当然极大地提高了识别正确率,但是对于移动的数据(比如 视频 ),或者我们需要检测物体具体的位置的时候,CNN 本身很难做,需要一些滑动窗口,或者 R-CNN 之类的方法,这些方法很反常(几乎肯定在生物学中不存在对应结构),而且极难解释为什么大脑在识别静态图像和观察运动场景等差异很大的视觉功能时,几乎使用同一套视觉系统。

因此 Hinton 认为,人脑做到的是 equivariance ,也就是能够检测到平移、选转等等各种差异,但是能够 “认识” 到他们在某些视觉问题场景下是相同的,某些场景下应该有所区别,而不是像 CNN 一样为了追求单一的识别率,用 invariance 掩盖这些差异。

于是 Hinton 重新开始关注 Capsules 的问题,希望从中有所突破,解决之前深度学习中的很多问题。如果确实能够解决这些问题,Hinton 有勇气完全抛弃之前的体系结构,从 0 开始。

这是 Hinton 最近被 NIPS 接受的关于 Capsules 论文 Dynamic Routing between Capsules (未发表) https://research.google.com/pubs/pub46351.html 。其在 MNIST 上非常成功,识别率达到了新高,同时解决了 CNN 难以识别重叠图像等问题。

注:上文中 equivalence 改为了 equivariance,这是更准确的说法

一些分析

虽然现在只有论文摘要,以及 Hinton 最近的视频,我们还是可以分析一下 Hinton 的想法和追求:

可解释性。

按照 Hinton 的说法, Capsule 是一组神经元,这组神经元的激发向量可以代表对应于一类实体(比如一个物体,或者一个物体的部件)的实例参数( instantiation parameters )。这个说法非常像 Hinton 曾经提的 “专家积”(Products of Experts)[1] 的概念,他用这个概念解释著名的对比散度(contrastive divergence)算法 [2]。更为人熟知的是 Andrew Y. Ng 的关于自动从视频中识别猫脸的实验 [3],这些实验都暗示了某个神经元可以代表代表某些物体实例(祖母细胞假说)。但是我们知道,某个神经元自身是个简单的数学变换,其自身不能起到决定性的作用。CNN 等能够自动抽取图像特征等等性质已经为人熟知,但是到底是哪些神经元或者哪些结构起了作用?这个很难回答。现代大多数神经网络的结构是相对整体且比较粗糙的,很难解释其内部的具体作用机制,因此我们常常把神经网络称为 “黑盒模型”。现在有了 Capsule 后,我们或许可以以 Capsule 为单位分析得出每个 Capsule 具体的作用,这样可解释性要强很多。

注:从视频中看 Hinton 所说的 instantiation parameters 应该是指表征以下内容的参数:

1. 某类物体出现的概率

2. 物体的一般姿态 (generalized pose),包括位置,方向,尺寸,速度,颜色等等

因果性。

这是 Hinton 在视频中重点提到的,也是很多机器学习专家关心的东西。现在的神经网络缺乏某种 “推断” 的机制,更多是目标函数最大化下的函数拟合。我们知道网络能够正确分类某个图片,但是为什么?图片中什么部分或者条件才导致网络得出这个结论?如果分类出错了,又是什么具体的部分或者条件误导了它?这些我们都不是非常清楚,大部分时候仅仅靠调参提高结果。而论文中 Dynamic Routing,就是希望能够形成一种机制,让网络能够将适合 Capsule_A 处理的内容,路由到 Capsule_A 让其处理。这样就形成了某种推断链。 “找到最好的(处理)路径等价于(正确)处理了图像” ,Hinton 这样解释。

Hinton 指出,原先的 Pooling,类似于静态的 routing,仅仅把上面的结果原地交给下面一层的神经元。(下面图片中 Dynamic Routing 仅供示意,具体实现要看发表出来的论文)

神经元
 

无监督学习。

这点也是 Hinton 强调的(原话似乎是 A human does not know so much labels)。Hinton 估计有在 Capsule 基础上做无监督研究的意向,在之前的 [4] 中 Hinton 已经用 Capsule 实现了自编码器。

如何看待 Hinton 重新提出的 Capsule ?

首先这个工作成功或者不成功都是很正常的,就算 Capsule 真的会成为以后的趋势,Hinton 也未必这么快找到正确的训练算法;就算 Hinton 找到了正确的训练算法,也没有人能够保证,Capsules 的数量不到人脑中 mini-columns 数量的时候,能够起达到人类的识别率(何况现在 CNN 虽然问题很多,但是识别率很多已经超过人类了)。

另外看之前的关于 Capsules 的论文 [4],其中的结果在 2011 年还是不错的,但是相比近年来的 CNN 就差多了,这恐怕也是 Capsules 随后没有火起来的原因。很多人都吐槽现在深度学习各种各样的问题,需要大量调参,但是每次调参都能有一大批人在论文发表 deadline 前调到想要的效果,这个也不得不服啊;不服你用 SIFT 给你一年调到一样的效果试试?

或许最糟的结果是,如同分布式存储中著名的 CAP 理论(又叫 Brewer's theorem)所述,一致性,可用性和分片性三者不能同时满足;或许对于机器学习,正确率,可解释性,因果性也不能同时满足(最好的模型必然最难理解)。Hinton 晚年试图突破深度学习就像爱因斯坦晚年试图统一电磁力和引力一样,是注定无法成功的。不过相信 Hinton 仍然愿意等下去,毕竟从反向传播提出,到深度学习的火爆,Hinton 已经坚守了 30 年了。

评论中有人提到,人工神经网络不必非要按照生物的路子走。我想 Hinton 重提 Capsule 的原因不只是因为 Capsule 在生物学上有支持,而是其有可以实施 dynamic routing 算法等的优良性质,Hinton 在其上看到了一些可能的突破点。

最早的神经网络作为感知机出现的时候是按照 Hebb's rule 学习的,可以说是非常生物了。正是 Hinton 和 LeCun 搞出脱离生物模型的反向传播算法,以及 Hinton 后来基于热力学统计做的玻尔兹曼机和受限玻尔兹曼机以及配套的对比散度算法,才有了深度学习的今天。


上一篇:深度学习:远非人工智能的全部和未来
下一篇:分布式机器人走进智能工厂 机器人学习迎来“春天”

本周栏目热点

机器学习模型初印象:什么是过拟合和欠拟合

[2018-04-21]  在正式讲这两个概念之前我们先来看一个故事:假设你想要习英语但之前对英语一无所知,不过曾听说过莎士比亚是一个位伟大的英国作家。你想要 ...

无法跨越的“心魔”仿真机器人研发的“恐怖谷”现象

[2018-04-19]     提起球形关节人偶(BallJoint Doll),大家一定不会陌生。华丽的衣着完美 ...

华盛顿大学计划用狗狗数据搭建模型,让犬类AI靠“本能”执行任务

[2018-04-22]  人类曾经设计过一项机器学习系统,它可以用来识别物体、进行导航以及识别面部表情。但是,尽管这套系统很复杂,它依然未达到能够模拟生物的 ...

40道题检测你的机器学习掌握程度

[2018-04-20]  本次测试是面向对机器学习有一定了解的人。参加测试之后,参与者会对自己的机器学习方面知识有更深刻的认知。目前,总共有1793个参与者参与到了测试中。...

[2018-04-15]  分布式机器学习、分布式深度学习,这已然成为目前机器人学习的重点所在,而伴随着这两项技术的发展,分布式机器人也开始正式走入智能工厂。 ...

精选推荐

揭秘达芬奇手术机器人
揭秘达芬奇手术机器人

[2018-04-19]  达芬奇手术系统是由美国Intuitive Surgical公司制造的机器人手术系统。美国食品和药物管理局(FDA)于2000年通过该标准,旨在利用微创手段 ...

通过对抗性图像黑入大脑
通过对抗性图像黑入大脑

[2018-03-02]  在上面的图片中,左边是一张猫的照片。在右边,你能分辨出它是同一只猫的图片,还是一张看起来相似的狗的图片?这两张图片之间的区别在于, ...

德国研发出一种能在你体内工作的微型机器人

[2018-01-26]  纽约时报的报道,德国的研究人员已经开发出一种长约七分之一英寸的机器人,首先看起来不过是一小块橡皮条。然后它开始移动。机器人走路,跳跃,爬行,滚动和游泳。它甚至爬出......

机器人灵巧手将成为智能机器人的下一个重大突破
机器人灵巧手将成为智能机器人的下一个重大突破

[2018-01-25]  计算机科学教授兼东北地区助手机器人实验室负责人罗伯特·普拉特(Robert Platt)说:“机器人手操作是下一步要解决的问题。想象一下,一个机器人可以在现实世界中用手去做事......

CES 2018:英特尔推出49量子位芯片争夺量子霸权
CES 2018:英特尔推出49量子位芯片争夺量子霸权

[2018-01-10]  在与Google、IBM的一场关于建立量子计算系统的马拉松比赛中,英特尔通过了一个关键的里程碑。近日,这个科技巨头已经推出了一个49个量子位 ...

从AI中窥探人性
从AI中窥探人性

[2018-01-03]  人们对人造智能的恐惧早已成为科幻书籍和电影的极好题材。但现在,一些同样的担忧开始影响关于现实世界AI技术的政策讨论。如果这样的担忧演变成为一种技术恐慌...

2017年:AI渗入云端
2017年:AI渗入云端

[2017-12-29]  云中的人工智能不仅仅是科技巨头的权力游戏,它也可能是人工智能领域的下一个飞跃。加利福尼亚州的Rigetti Computing公司刚刚使用其原型量子芯片之一在其云平台上运行机器学......

人工智能民主化能否实现取决于科技巨头
人工智能民主化能否实现取决于科技巨头

[2017-12-29]  我们经常听到像谷歌和微软这样的公司说他们希望人工智能民主化。这是一个很好的词,民主化。 但这些公司如何界定“民主化”还不清楚,像AI本身一样,它似乎有点炒作的味道...

美国Natilus公司试飞水上无人货机 设计简单成本降低
美国Natilus公司试飞水上无人货机 设计简单成本降低

[2017-12-28]  Natilus创业公司成立于2014年,其梦想是建造大型无人机,以半价提供比船舶快得多国际货运。在十二月份,Natilus计划在旧金山湾测试一个9米翼展的小型原型无人机的水上滑行能力......

助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出
助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出

[2017-12-25]  本文提出了一个大型的、长序列的、用于行人重识别的视频数据集,简称LVreID。与现有的同类数据集相比,该数据集具有以下特点:1)长序列:平均每段视频序列长为200帧,包含丰......