我们看到人工智能的崛起时，很容易进入反乌托邦主义的情节之中，认为有意识的机器会起来反抗创造了它们的人类。科幻作品中出现的反面角色，如《终结者》里的 “天网”和《2001：太空漫游》中的哈尔，要对人类的这种情节负责。
但是，AI带来的真正危险——至少在近期内——是更为隐蔽的。相比机器人获得自主意识而主动反抗人类的命令并崛起，更有可能发生的情况是，它们在执行人类的命令时无意地伤害了人类或者带来麻烦。正因为认识到了这一点，加州大学伯克利分校本周成立了一个研究中心，专门研究如何建立对人类友好的AI。
本周新成立人类友好型AI研究中心，由开放慈善项目赞助550万美元作为启动资金，由计算机科学教授、人工智能先驱Stuart Russell领导。他迅速澄清了研究方向与科幻小说所描述的威胁之间“无理的、耸人听闻的”关联。
“危险不会来自于机器突然发展出的恶意的自主意识，”他说，“重要的是你要知道，我们不是要阻止这样的事，因为我们对于意识本身是什么还一无所知。”
Russell在人工智能领域声名远扬，他在2015年发表了一份公开信，号召研究者超越增强AI能力的研究目标，并考虑如何让AI在社会上发挥有益的影响。这份公开信已经有超过8000位科学家和企业家在上面签名，其中包括物理学家史蒂芬·霍金、企业家埃隆·马斯克和苹果公司合伙人史蒂夫·沃兹尼克。
“（AI研究）可能带来的好处是巨大的，因为人类文明发展的终极产品是人类的智能；我们无法预测我们通过AI提供的工具来放大我们的智慧能够达到什么样的成就，但起码消除贫困和疾病是不难想象的。”公开信中这样写道。
“由于AI具有极大的潜力，因此重要的是研究如何从它身上获得帮助，同时还要避免可能出现的隐患。”
正是这样的想法，促成了这个新成立的研究中心。
到现在为止，AI主要被 应用 于非常有限的环境中，如下国际象棋和围棋、识别 图片 中的物体，在这些应用环境中AI能够造成的破坏和伤害是非常有限的。如果AI开始在现实世界中做出关于我们切身利益的决定，这种风险就会高得多。
“一旦你把AI放到真实世界中，放到无人驾驶汽车、数字助理等应用中……当AI开始帮你购买对你利益有影响的物品、帮你取消约会时，它们的价值观立场必须保证和人类一致。”Russell说。
他举自动驾驶汽车为例，说明他们研究中心试图解决的问题。假设一个人在设计自动驾驶汽车系统时，设定了不允许闯红灯的规则，但这个智能系统可能会黑进交通灯的控制系统，让所有交通能变绿。这样的话，这个无人驾驶汽车的智能系统虽然按照规则行事，但显然不是人类希望的结果。类似地，为一个套利基金设计的人工智能，被设置为让其投资组合的价值最大化，可能会被短期消费型股票刺激，而长期持有国防类股票，然后引起战争——如 WernerHerzog最新的纪录片中埃隆·马斯克表达的那样。
“甚至当你认为已经通过防御系统限制了你的AI系统能做的事时，它还可能会在其中找到漏洞，就像人们总会找到法律的漏洞进行偷税漏税一样。你会希望AI系统不要主动寻找规则的漏洞。”Russell说。
“问题不在于意识，而在于权限。我们赋予机器很大的权限，希望它来完成某个目标，但它在完成目标的过程中可能会引起灾难。”
为了应对这些问题，Russell和研究中心的同事打算让AI系统观察人类的行为，并尝试理解人类的真正目的是什么，然后根据人类的目的来行事，并且从失误中吸取经验。摒弃了为机器提供一长串需要遵守的规则的做法，他们只告诉机器主要的目标就是做人类想让他们做的事。
这听起来很简单，但这是过去的50年来工程师从未尝试过的建立系统的方式。
不过如果AI系统被设计为用这种方式学习人类的目标，就能够保证它们一直处于人类的控制之下，即使它们的能力已经超过人类。
除了通过摄像头等感应器直接观察人类，机器人还能通过阅读历史文献、法律档案、小说、报纸，甚至观看 视频 和 电影 等方式来了解人类。它们能够从中建立起对人类价值观的理解。
这对机器来说不是容易的事。“人类是非理性的、不连续的、意志不坚定的、计算能力有限的、混杂的并且有时候是十分邪恶的。”Russell说。
“一些人是素食主义者，另一些人却爱吃多汁的牛排。我们的表现从来不能接近完美，这个事实是我们研究中的一个难点。”
