3月25日消息，在旧金山举办的《麻省理工科技评论》Emtech Digital峰会上,Dawn Song表示：“探测和操纵机器学习系统的新技术，对于任何希望在业务中利用人工智能的人来说，这都可能带来大问题，这需要我们齐心协力一起来解决。”
对抗性机器学习涉及实验性地将输入馈送到算法中以揭示其已经训练的信息，或者以导致系统行为不当的方式扭曲输入。例如，通过将大量图像输入到计算机视觉算法中，可以对其功能进行逆向工程，并确保某些类型的输出，包括不正确的输出。
Dawn Song展示了她的研究小组探讨的几个对抗性学习技巧的例子。其中，与谷歌合作进行的一个项目涉及探测机器学习算法，这些算法经过训练，能够从电子邮件消息生成自动响应(在本例中是安然电子邮件数据集)。研究表明，通过创建正确的消息，机器模型可能会吐出信用卡号码等敏感数据。谷歌使用该项目的调查结果来阻止Smart Compose(一种在Gmail中自动生成文本的工具)被利用。
另一个项目涉及修改道路标志，用一些看似无害的贴纸来欺骗许多车辆上使用的计算机视觉系统。Dawn Song用视频演示了汽车如何被欺骗，以为停车标志实际上说速度限制是每小时45英里。对于依赖于此类信息的自动驾驶系统而言，这可能是一个巨大的问题。
对抗性机器学习是机器学习研究人员越来越感兴趣的一个领域。随着人工智能渗透到生活的方方面面，对这些系统的攻击变得更加可能，在过去的几年里，其他研究小组已经展示了如何探测和利用在线机器学习API来设计欺骗它们或泄露敏感信息的方法。
