爱吧机器人网 » 技术 > 机器学习 > 正文

Judea Pearl:传统机器学习于因果层级底层,达成完备AI的7个工具

核心提示:机器学习的巨大成功带来了 AI 应用的爆炸式增长以及对具备人类级别智能的自动化系统不断增长的期望。然而,这些期望在很多应用领域中都遇到了基本的障碍。其中一个障碍就是适应性或鲁

选自ucla,作者:Judea Pearl,机器之心编译,参与:刘晓坤、路雪。

近日,Judea Pearl 发表技术报告,指出当前机器学习的三个主要障碍,并提出了人工智能范式的完整结构应该包含三个层级,而当前的机器学习尚处于底层,最后他列举了七个用于克服这些障碍的因果推理工具。

Judea Pearl:传统机器学习于因果层级底层,达成完备AI的7个工具
引言

机器学习的巨大成功带来了 AI 应用的爆炸式增长以及对具备人类级别智能的自动化系统不断增长的期望。然而,这些期望在很多应用领域中都遇到了基本的障碍。其中一个障碍就是适应性或鲁棒性。机器学习研究者注意到当前的系统缺乏识别或响应未经特定编程或训练的新环境的能力。人们在「迁移学习」、「域适应」和「终身学习」[Chen and Liu 2016] 这些方向进行大量理论和实验研究就是为了克服这个障碍。

另一个障碍是可解释性,即「机器学习模型仍然主要是黑箱的形式,无法解释其预测或推荐背后的原因,因此降低了用户的信任,阻碍了系统诊断和修复。」[Marcus 2018]

第三个障碍和对因果关系的理解相关。理解因果关系这一人类认知能力的标志是达到人类级别智能的必要(非充分)条件。这个要素应该使计算机系统对环境进行简洁的编码和模块化的表征,对表征进行质询,通过想象对表征进行变化,并最终回答类似「如果……会如何?」这样的问题。例如,干预性的问题:「如果我让……发生了会如何?」,以及回溯性或解释性的问题:「如果我采取不同的做法会如何?」或「如果某件事情没有发生会如何?」

Pearl 假设以上三个障碍需要用结合了因果建模工具的机器来解决,特别是因果图示和它们的相关逻辑。图模型和结构模型的进展使得反事实推理在计算上可行,因此使得因果推理成为强人工智能中的有效组件。

在下一部分中,作者将描述限制和支配因果推理的三个层级。最后一部分总结了如何使用因果推理的现代工具避免传统机器学习的障碍。

三层因果层级

因果模型揭示的一个有用观点是按照问题类型对因果信息进行分类,每个类别能够回答特定的问题。该分类形成了一个三层的层级结构,只有在获取第 j 层(j ≥ i)信息时,第 i 层(i = 1, 2, 3)的问题才能够被解答。

图 1 展示了该三层层级结构,以及每一层可回答的典型问题。这三层的名字分别是 1. 关联(Association)、2. 干预(Intervention)、3. 反事实(Counterfactual)。这些名字是为了凸显每一层的作用。作者将第一层叫做「关联」是因为它仅仅调用统计关系,由裸数据来定义。例如,观察一位购买牙膏的顾客使得他/她购买牙线的可能性增大;此类关联可以使用条件期望直接从观测数据中推断得到。这一层的问题不需要因果信息,因此它们可以被放置在该三层层级架构的最底层。第二层「干预」层次比「关联」高,因为它不只涉及观察,还会改变观察到的信息。这一层的典型问题是:如果我们把价格提高一倍会怎样?此类问题无法仅根据销售数据来回答,因为它们涉及顾客行为针对新价格所作出的改变。这些选择可能与之前的提价情况中顾客所作出的选择大相径庭。(除非我们精确复制价格提高一倍时的已有市场条件。)最后,顶层是「反事实」,「反事实」一词可以追溯到哲学家 David Hume 和 John Stewart Mill,在过去二十年中「反事实」被赋予了和计算机有关的语义。这一层的典型问题是「如果我采取不同的做法会怎样」,因此需要回溯推理(retrospective reasoning)。

Judea Pearl:传统机器学习于因果层级底层,达成完备AI的7个工具
图 1:因果层级。只有可获取第 i 层及以上层级的信息时,第 i 层的问题才可以被解答。

因果推理的 7 个工具(或只有使用因果模型才能做到的事情)

考虑以下 5 个问题:

* 给定的疗法在治疗某种疾病上的有效性?

* 是新的税收优惠导致了销量上升吗?

* 每年的医疗费用上升是由于肥胖症人数的增多吗?

* 招聘记录可以证明雇主的性别歧视罪吗?

* 我应该放弃我的工作吗?

这些问题的一般特征是它们关心的都是原因和效应的关系,可以通过诸如「治疗」、「导致」、「由于」、「证明」和「我应该」等词识别出这类关系。这些词在日常语言中很常见,并且我们的社会一直都需要这些问题的答案。然而,直到最近也没有足够好的科学方法对这些问题进行表达,更不用说回答这些问题了。和几何学、机械学、光学或概率论的规律不同,原因和效应的规律曾被认为不适合应用数学方法进行分析。

这种误解有多严重呢?实际上仅几十年前科学家还不能为明显的事实「mud does not cause rain」写下一个数学方程。即使是今天,也只有顶尖的科学社区能写出这样的方程并形式地区分「mud causes rain」和「rain causes mud」。

过去三十年事情已发生巨大变化。一种强大而透明的数学语言已被开发用于处理因果关系,伴随着一套把因果分析转化为数学博弈的工具。这些工具允许我们表达因果问题,用图和代数形式正式编纂我们现有的知识,然后利用我们的数据来估计答案。进而,这警告我们当现有知识或可获得的数据不足以回答我们的问题时,暗示额外的知识或数据源以使问题变的可回答。

作者把这种转化称为「因果革命」(Pearl and Mackenzie, 2018, forthcoming),而导致因果革命的数理框架称之为「结构性因果模型」(SCM)。

SCM 由三部分构成:

1. 图模型

2. 结构化方程

3. 反事实和介入式逻辑

图模型作为表征知识的语言,反事实逻辑帮助表达问题,结构化方程以清晰的语义将前两者关联起来。

图 2 描述了 SCM 作为推断引擎时的运行流程。该引擎接受三种输入:假设(Assumptions)、查询(Queries)和数据(Data),并生成三种输出:被估量(Estimand)、估计值(Estimate)和拟合指数(fit indices)。被估量(E_S)是一个数学公式,该公式基于假设,提供从任意假设数据中回答查询的方法(可获取假设数据的情况下)。在接收到数据后,该引擎使用被估量来生成问题的实际估计值 E_s hat,以及问题置信度的统计估计值(以反映数据集的有限规模,以及可能的衡量误差或缺失数据)。最后,该引擎生成一个「拟合指数」列表,可衡量数据与模型传递的假设的兼容性。

Judea Pearl:传统机器学习于因果层级底层,达成完备AI的7个工具
图 2:SCM「推断引擎」结合数据和因果模型(或假设),生成查询的答案。

接下来介绍 SCM 框架的 7 项最重要的特性,并讨论每项特性对自动化推理做出的独特贡献。

1. 编码因果假设—透明性和可试性

图模型可以用紧凑的格式编码因果假设,同时保留透明性和可试性。其透明性使我们可以了解编码的假设是否可信(科学意义上),以及是否有必要添加其它假设。可试性使我们(作为人类或机器)决定编码的假设是否与可用的数据相容,如果不相容,分辨出需要修改的假设。利用 d-分离(d-separate)的图形标准有助于以上过程的执行,d-分离构成了原因和概率之间的关联。通过 d-分离可以知道,对模型中任意给定的路径模式,哪些依赖关系的模式才是数据中应该存在的(Pearl,1988)。

2. do-calculus 和混杂控制

混杂是从数据中提取因果推理的主要障碍,通过利用一种称为「back-door」的图形标准可以完全地「解混杂」。特别地,为混杂控制选择一个合适的协变量集合的任务已被简化为一种简单的「roadblocks」问题,并可用简单的算法求解。(Pearl,1993)

为了应对「back-door」标准不适用的情况,人们开发了一种符号引擎,称为 do-calculus,只要条件适宜,它可以预测策略干预的效应。每当预测不能由具体的假设确定的时候,会以失败退出(Pearl, 1995; Tian and Pearl, 2002; Shpitser and Pearl, 2008)。

3. 反事实算法

反事实分析处理的是特定个体的行为,以确定清晰的特征集合。例如,假定 Joe 的薪水为 Y=y,他上过 X=x 年的大学,那么 Joe 接受多一年教育的话,他的薪水将会是多少?

在图形表示中使用反事实推理是将因果推理应用于编码科学知识的非常有代表性的研究。每一个结构化方程都决定了每一个反事实语句的真值。因此,我们可以解析地确定关于语句真实性的概率是不是可以从实验或观察研究(或实验加观察)中进行估计(Balke and Pearl, 1994; Pearl, 2000, Chapter 7)。

人们在因果论述中特别感兴趣的是关注「效应的原因」的反事实问题(和「原因的效应」相对)。(Pearl,2015)

4. 调解分析和直接、间接效应的评估

调解分析关心的是将变化从原因传递到效应的机制。对中间机制的检测是生成解释的基础,且必须应用反事实逻辑帮助进行检测。反事实的图形表征使我们能定义直接和间接效应,并确定这些效应可从数据或实验中评估的条件(Robins and Greenland, 1992; Pearl, 2001; VanderWeele, 2015)

5. 外部效度和样本选择偏差

每项实验研究的有效性都需要考虑实验和现实设置的差异。不能期待在某个环境中训练的模型可以在环境改变的时候保持高性能,除非变化是局域的、可识别的。上面讨论的 do-calculus 提供了完整的方法论用于克服这种偏差来源。它可以用于重新调整学习策略、规避环境变化,以及控制由非代表性样本带来的偏差(Bareinboim and Pearl, 2016)。

6. 数据丢失

数据丢失的问题困扰着实验科学的所有领域。回答者不会在调查问卷上填写所有的条目,传感器无法捕捉环境中的所有变化,以及病人经常不知为何从临床研究中突然退出。对于这个问题,大量的文献致力于统计分析的黑箱模型范式。使用缺失过程的因果模型,我们可以形式化从不完整数据中恢复因果和概率的关系的条件,并且只要条件被满足,就可以生成对所需关系的一致性估计(Mohan and Pearl, 2017)。

7. 挖掘因果关系

上述的 d-分离标准使我们能检测和列举给定因果模型的可测试推断。这为利用不精确的假设、和数据相容的模型集合进行推理提供了可能,并可以对模型集合进行紧凑的表征。人们已在特定的情景中做过系统化的研究,可以显著地精简紧凑模型的集合,从而可以直接从该集合中评估因果问询。

技术报告:The Seven Tools of Causal Inference with Reflections on Machine Learning

Judea Pearl:传统机器学习于因果层级底层,达成完备AI的7个工具
报告地址:http://ftp.cs.ucla.edu/pub/stat_ser/r481.pdf

摘要:以纯统计的推断模式运行的系统在力量和性能方面都存在理论缺陷。此类系统无法推理干预和回溯(retrospection),并因此无法作为强人工智能的基础。为了达到人类水平的智能,学习机器需要外部现实模型的指引,类似于因果推断任务中使用的模型。为了展示此类模型的必要性,本论文展示了七个任务,这些任务都超出了关联学习系统的范围,这些任务之前是使用因果建模工具来完成的。



上一篇:成功构建一个机器学习模型需避免这9个错误
下一篇:开源人工智能强化学习中使用深度确定性政策梯度的双足步行机器人

本周栏目热点

期待已久的Ubuntu 18.04 LTS正式发布 适用于机器学习

[2018-04-27]  Canonical于伦敦时间26日正式发布了Ubuntu 18 04 LTS版,Canonical的CEO称,Ubuntu 18 04 LTS在云计算领域效率极高,特别适用于机器学习这样的存储密集型和计算密集型任务。...

[2016-08-19]  在深度学习出现之前,文字所包含的意思是通过人为设计的符号和结构传达给计算机的。本文讨论了深度学习如何用向量来表示语义,如何更灵活地 ...

机器人是怎么深度学习的?

[2016-03-29]      一个人独处时,感觉有点孤单,怎么办?微软亚洲研究院推出的微软小冰,或许 ...

2018年值得关注的10种机器学习工具

[2018-01-03]  2017年是机器学习大放异彩的一年,这归功于众多公司广泛而深入地研究和开发更新颖、更高效的工具和框架。这里介绍,有望在2018年大行其道的10种机器学习的工具和框架。...

机器学习算法Python实现--线性回归分析

[2018-03-19]  1、代价函数其中:下面就是要求出theta,使代价最小,即代表我们拟合出来的方程距离真实值最近共有m条数据,其中代表我们要拟合出来的方程 ...

精选推荐

机器人灵巧手将成为智能机器人的下一个重大突破
机器人灵巧手将成为智能机器人的下一个重大突破

[2018-01-25]  计算机科学教授兼东北地区助手机器人实验室负责人罗伯特·普拉特(Robert Platt)说:“机器人手操作是下一步要解决的问题。想象一下,一个机器人可以在现实世界中用手去做事......

美国人工智能公司Skymind进入福建全面开展业务
美国人工智能公司Skymind进入福建全面开展业务

[2017-12-11]  人工智能在当今这个时代对大家来说想必是非常熟悉的,这也是我国近十几年来一直追求的目标,未来的时间里这也将是全人类追求的目标。就目前来看,近年来,人工智能或在我国迎......

2018年企业数字化转型的五大趋势
2018年企业数字化转型的五大趋势

[2017-12-16]  据2016年哈佛商学院研究表明,选择进行数字化转型的企业在3年内表现出了55%的平均毛利润提升,相比之下其他企业毛利润同期降低了37%。数字化转型企业的领头羊,也曾是收入处于......

谷歌在中国成立一个新的人工智能(AI)研究中心
谷歌在中国成立一个新的人工智能(AI)研究中心

[2017-12-13]  谷歌正在中国建立一个新的人工智能(AI)研究中心,希望进一步扩展到中国,以充分利用中国高度重视的人工智能技术。人工智能是目前地球上最具竞争力的领域之一,亚马逊,微软......

机器人工程师具体都做什么?
机器人工程师具体都做什么?

[2017-12-08]  机器人工程师是幕后设计师,负责创建机器人和机器人系统,能够执行人类无法完成或不愿意完成的任务。 通过他们的创造,机器人工程师帮助工作更安全,更轻松,更高效,特别是......

Crossbar将电阻式RAM推入嵌入式AI
Crossbar将电阻式RAM推入嵌入式AI

[2018-05-17]  电阻RAM技术开发商Crossbar表示,它已与航空航天芯片制造商Microsemi达成协议,允许后者在未来的芯片中嵌入Crossbar的非易失性存储器。此举是在先进制造业节点的领先代工厂选......

基于生物启发的机器人很容易适应丢失附属器官
基于生物启发的机器人很容易适应丢失附属器官

[2017-12-17]  很多机器人被设计应用在危险环境,如灾难现场。在这些地方,他们的运动系统完全有可能被损坏。那这样会吓跑这些机器人吗?也许不是,如果它们像日本的东北和北海道大学创造的......

人工神经网络技术解码人类行为和想象时的大脑活动信号
人工神经网络技术解码人类行为和想象时的大脑活动信号

[2017-08-23]  为搜索引擎过滤信息,棋盘游戏对弈,识别图像 人工智能在某些任务中远远超过了人类智能。来自弗莱堡由神经科学家私人讲师Tonio Ball博士领导的几个杰出的BrainLinks-Bra......