对抗性致盲：谷歌认为，可以通过隐藏奖励的部分细节、甚至完全将奖励机制黑箱化，让 算法 主体无法通过寻找规则本身的漏洞来攻破规则。黑箱原理类似于现在很多手机采用的 指纹识别 系统。有专用的芯片负责 指纹识别 ，手机本身的系统是没有权限读取其芯片中的数据的，它能做的只有向芯片中发送 指纹识别 的请求，由芯片独立完成识别后再将结果返回给系统。这样无疑可以极大减小奖励的规则被 算法 利用的可能性。
对抗奖励：甚至，谷歌还认为，人们可以为此设计另外一个代理，让两个代理互相监督对方有没有做出违背人类希望的选择。所谓以毒攻毒。
对模型本身的限制：
使用各种方法加强包括人类对 算法 的监视，确保当模型做出不良选择时，能及时的得到负面的反溃为了不让模型训练后变得过于消极，如果人们确定代理在一个区域内活动的时候无论如何也不会给人类造成损害，可以将这个区域划为一个 安全 区域，在这个区域内，代理可以自由的进行各种探索。
AI科研的下一个里程碑和挑战
其实从这篇论文中就能看出：目前AI的研究方式无非就是抽象、逻辑化环境和任务目标，将这些东西教给代理，然后给它无数次机会和数据进行训练，让它在无数次尝试中得到最好的目标实现方法。而这些数据就是一堆堆的函数和概率。
虽然谷歌已经开始着手为其定制预防措施，但不出意外的话，这些东西都不会是最后真正AI的形态。其实人们最初设想的AI，其外在的表现会和人一样：它们刚诞生的时候可能也什么都不懂，但是它有一种像人类一样的，能够通用于世间万物的学习能力。很快就能学会它需要的所有东西，（最后超越人类）。
目前，研究一种通用的学习 算法 正是AI科研领域内很多学者研究的重点。在最近的一次采访中，深度学习大牛，ImageNet的创办者李飞飞最近在a16z的podcast中也表示：“我的下一个梦想就是希望能教会 机器人 应该怎么去学习，而不是模仿训练数据。”
如果AI真的具有了一种通用的学习能力，那我们该传达给它们的就不应该是更多的规则，而是一种新型的，对人类和机器都会有利的价值观了，那可能又会是一种全新的方法和思路。这也是DeepMind的早期投资人Jaan Tallinn曾预言过的下一个极有潜力的AI相关领域：AI的价值观对接研究（value-alignment research）
相关搜索(Beta) 谷歌AI AI开发 详解可可的五大功能 五大联赛派系详解 五大发展理念详解 ai工具详解 java反射机制详解 handler机制详解 熔断机制详解 谷歌ai围棋 谷歌ai对弈李世石 谷歌ai是什么 谷歌 ai 谷歌ai大战李世石 谷歌ai三战李世石 谷歌ai围棋直播 李世石对战谷歌ai
