人们对新事物总是充满恐惧。就在大家担心无人驾驶汽车是否弊大于利的时候，AI重塑金融规律的创新也引起许多人对其中的法律和道德问题的顾虑。
让一个软件程序来决定，谁拥有投资开户的资格，谁能够获得贷款（征信），应该收取多少的费率，甚至在主流金融体系之外的金融服务客户都可能收获意想不到的后果。
但也有些人认为，没有什么能够比算法更公平公正了——纯粹数学，毕竟，不会有偏见，对吧？
“一台机器或一个 机器人 将基于事实和标准来计算出决策，”红杉软件财政性转型主管Steve Palomino表示，“去除人为因素意味着，人们可以基于事实和具体情况来 应用 标准，而不是根据偏好或个人偏见和经验。”
偏见问题
这个论点的缺陷之一是，算法也是人为创建的，通常会在连他们都意识不到的细微处隐含了偏见。这些偏见也许会被嵌入到算法当中。比如，去年卡耐基梅隆大学 的研究者测试谷歌的算法是如何向用户推送广告时发现，广告设置中的“男性”和“女性”标签中，谷歌会给“男性”用户推荐薪酬更高的招聘广告。
更极端地说，一个人工智能引擎做出信贷决策时，也许会倾向于只认可常春藤盟校毕业的，或者家庭收入超过30万美元的群体。
人工智能，究其本质而言，还不能完全控制今天的以规则为基础的系统。在AI里面，电脑可以随着时间的推移来学习人们通常是如何做的：通过接收信息，然后决策基于这些数据进行征信决策，并不断观察结果进行风控。随着它们在错误和正确的信息中不断学习，它们会不断修正自己的规则和算法，然后开始作出它们自己的结论。
乔治华盛顿大学社群主义政策研究所国际事务教授兼主任Amitai Etzioni指出，无人驾驶汽车被指示不要超速，但它们也被设计了学习程序。当周围的汽车加速时，它也会加速。它们所谓的标准是根据周围的参照而对结果做出调整。
同样的原则也适用于AI交付的抵押贷款决策。“银行告诉程序：在任何情况下都不应该将种族作为一个标准，”他说，“但程序会发现风险与收入、受教育程度和邮政编码有关——它会说‘种族也是因素之一’，因为教育与邮政编码都有种族标签有联系，那为什么我不可以把种族也作为规则标准之一？”
人工智能程序缺乏良知。咨询公司Spitzberg Partners首席分析师Steve Ehrlich表示，“你很难将道德编码到机器里面去——它唯一的目的是为企业寻找解决方案。”
如何制衡？
Etzioni表示，我们需要的是AI监护者——AI系统伴侣，它可以确保人工智能引擎不会偏离特定值。
那AI监护者最后就不会学坏了吗？
“这个问题从柏拉图一来就是个未解的难题。在柏拉图理想的国度里，最高统治者是监护者”Etzioni说道，“但是，谁来监护监护者？最后，人类必须有一个彼此制衡的闭环。”
这就引出了第三个问题——人工智能程序的内部运作往往比较隐蔽，甚至他们的创造者也不知道其原理。换句话说，AI如同一黑盒。通过AI系统，金融机构做出的谁能成为他们的客户，他们将对谁放贷，收取多少的费率等等决定时，都将成为不可知的。
这些问题不仅仅是针对于传统金融机构的考虑。许多Fintech公司都采取了黑盒自动化决策，并严重依赖算法。Social Finance （SoFi）已经宣布自己是“FICO-Free Zone（FICO自由区）”，即公司在进行贷款资格审查的过程中已经不再需要FICO的模型进行评分。
但没有人知道，他们在算法了使用了什么数据。美国P2P公司Prosper的CEO Ron Suber曾表示，该公司对每个借款人分析的数据样本达到500个，但具体的数据点又是什么呢？他们从不会说。
Ehrlich表示，让人工智能引擎做出金融决策还引发隐私问题——这些数据的获取或会涉及侵犯用户的隐私。
“如果说征信公司想要看看你的社交媒体或搜索历史来确定你的信用评分，那么银行至少应该告知客户其计划使用这些信息。”
当然，不管有没有人工智能，数据隐私问题都同样存在。但人工智能程序的成功取决于它分析海量数据的能力。但与IBM的沃森和谷歌的AlphaGo不同，银行不能将所有东西都扔进它们的AI引擎里面。
“银行应该在前期公示他们将要搜集哪些信息，如何收集并用于什么地方。”
可依赖否？
使用人工智能自动化决策的另一个问题是，它们是否会使用智能合约技术自动执行，谓之可依赖性。
“如果我们不小心，我们可能无法实现我们认为通过自动化能够做好的一切，”多伦多一名专门研究反洗黑钱规则、反恐怖主义集资、跨国资产追回的律师，Digital Finance Institute联合创始人Christine Duhaime表示，“原因是，我们实现越高水平的自动化后，就越难与人类沟通问题。”
Ehrlich还指出，如果一个自动生成的决策将对客户造成消极后果，那么这需要对其有一个保护的机制。
确保决策过程中所有被用到的数据都是精确且最新的，这对企业来说是一个特别的责任，除非用户明确表示授权，同时企业在适当的时候具备恰当的技术安保措施和隐私保护政策，并且只访问特许储存的数据。
Duhaime指出，在AI中还有一个危险隐患是，该技术实则将那些无法使用计算机或移动设备的残疾人和老者排除在外了。“在这样的情况下，我们打着普惠金融的旗号，最后却将大部分客户拒之门外，我们实即也没有解决银行现存问题的能力。这只不过是制造了新的永远无法解决的银行问题罢了。”
AI系统也许也能够被应用于创造为残疾人服务的技术，“如果我们无法服务残疾市场，那么该技术在未来创造出的也许是弊大于利。”
