黄鑫
关心AI圈的人一定都知道，谷歌是一家在AI领域投入和应用非常广泛和庞大的 科技 公司，对于AI的研究也一直处于世界水平的前列。作为领域的领军公司之一，谷歌自然要扛起前瞻性研发的公司，所以在很多人还对深度学习一头雾水的时候，谷歌已经开始研究如何避免AI伤害到人类了。
防范措施的全方位研究
前段时间，谷歌就发布了一篇论文，详细的描写了一种用于AI的紧急停止开关的运作原理和实现机制，但是这样仅仅的一种事后应对措施显然是无法平复人们（包括谷歌）的担心的，因此，另一项研究也在同时进行，并在前者发布不久之后发布，这项研究多是从基础理论出发。从根源上提出了几种防止AI对人类的利益产生损害的方式，雷锋网(搜索“雷锋网”公众号关注)分上下两部分翻译了论文的全文，点击链接：上、下——从事先预防到事后应急。简直已经形成了一套完美的理论。
但是这确实证明了AI确实已经强大到了足以威胁到我们的地步了吗？Elon Musk、霍金等AI警惕论者是不是应该为自己的远见欢呼雀跃？事实上恰恰相反。在仔细分析了谷歌的 安全 机制论文后，我们恰恰认为这篇论文反而体现了目前的AI仍然处在远远无法对人类这个整体产生威胁的程度。
如同Mobileye的Amnon Shashua说的那样，深度学习目前只能用来解决人类已知并且能非常精确的描述出来的问题。与深度学习师出同门的增强学习（Reinforcement learning，RL）自然也是一样。在目前典型的RL学习范例中，如果要让一个 机器人 很好的完成一项任务，人类必须把这项任务的所有细节量化成机器可以理解的形式，然后输入RL的模型，再让机器经过无数次的模拟和实验，才可能得出一套行之有效的方案。
这种形式导致的一项后果就是：增强学习的“代理”（也就是 机器人 ）的概念中，除了完成任务获取最大化的奖励之外不会有任何概念。在某些时候，心无旁骛是件好事，但是这却导致了代理在完成任务的过程中会出现很多意想不到的问题，而这才是目前谷歌主要想要应对的问题，而不是起邪念的 机器人 想要毁灭世界，或者干嘛的。就连谷歌自己都在论文中说：
目前，很多此类讨论围绕极端情景，例如在超智能代理（也就是超级 人工智能 啦）中出现错误目标函数的风险。然而，我们认为有成效地讨论意外问题不需要渲染这些极端情景，实际上这只会带来没必要的推测性讨论，正如一些批评者所说的那样，缺少精确度。我们相信，最有成效的做法是从现代 机器学习 技术的实际问题（虽然经常比较笼统）来描述意外风险。
相关搜索(Beta) 谷歌AI AI开发 详解可可的五大功能 五大联赛派系详解 五大发展理念详解 ai工具详解 java反射机制详解 handler机制详解 熔断机制详解 谷歌ai围棋 谷歌ai对弈李世石 谷歌ai是什么 谷歌 ai 谷歌ai大战李世石 谷歌ai三战李世石 谷歌ai围棋直播 李世石对战谷歌ai
