爱吧机器人网 » 技术 > 神经网络 > 正文

可编辑神经网络,有望简化深度学习?

\
图片来自Andrew Buchanan的《Unsplash》
 
深度学习是一个计算繁重的过程。 降低成本一直是 Data curation 的一大挑战。 关于深度学习神经网络大功耗的训练过程,已经有研究人员发表了其碳足迹(温室气体排放集合)的报告。

情况只会越来越复杂,因为我们正迎来一个充斥着大量的机器学习应用程序的未来。但所幸的是,我们也看到一些能够让训练神经网络的过程变得更高效的策略正在被发明出来。

以更改单个输入来更新神经网络的预测可能会降低其他输入的性能。 当前,业内通常使用两种解决方法:

1、在原始数据集上重新训练模型,并补充解决错误的样本;
2、使用手动缓存(例如查找表)来代替对有问题的样本的模型预测;

虽然简单,但是这种方法对于输入中的细微变化并不稳健。 例如,在自然语言处理任务中,它不会概括出同一对象的不同观点或释义。 因此,在ICLR 2020的一篇正在审核的论文中,尚未公开姓名的作者提出了一种称为“可编辑训练”的替代方法。


推荐阅读:百度X-MAN 3.0超级AI每秒2万亿次深度神经网络运算
作为今年最顶级的AI盛会,NeurIPS涉及深度学习、神经科学、认知科学、心理学、计算机视觉、统计语言学和信息论等156个领域。本届NeurIPS吸引了各国的研究机构和企业,机器学习、人工智能、...

神经网络的“修补”

\
可编辑神经网络也属于元学习范例,因为它们基本上是“学习允许有效修补”。

有效的神经网络修补问题不同于持续学习,因为研究人员认为,可编辑的训练设置本质上不是顺序的。

在这种情况下进行编辑意味着在不影响其他输入的情况下,更改输入对子集的模型预测(与错误分类的对象相对应)。

为此,构想出了编辑器功能,即一种给定约束的参数功能。 换句话说,非正式地,这是一个调整参数以满足给定约束的函数,该约束的作用是强制执行模型行为所需的更改。

对于图像分类实验,使用标准训练/测试分割获取小的CIFAR-10数据集。训练数据集进一步增加了随机裁剪和随机水平翻转。

在此数据集上训练的所有模型都遵循ResNet-18架构,并使用具有默认超参数的Adam优化器。

推荐阅读:MIT用深度学习处理3D点云数据 应用于无人汽车等领域
如果你见过自动驾驶汽车,也许会对车顶上那个一直在旋转的圆柱体感到好奇。这是一个雷达传感器,无人驾驶汽车依靠它在现实世界中进行导航。 ...


为深度神经网络实现Edit的自然方法是使用梯度下降。 根据作者的观点,标准的梯度下降编辑器可以用动量(momentum)、自适应学习率(adaptive learning rates)进一步增强。

但是,在许多实际情况下,绝大部分这些编辑都不会发生。 例如,比起“卡车”或“船”,以前被分类为“飞机”的图像更有可能需要编辑为“鸟”。 为了解决这个问题,作者采用了自然对抗样本(NAE)数据集。

该数据集包含7500个自然图像,这些图像很难用神经网络进行分类。 如果不进行编辑,经过预训练的模型可以正确地预测NAE中不到1%的数据,但是正确的答案可能在按预测概率排序的前100个类别中。

总结

可编辑训练与对抗训练有些相似,后者是对抗攻击防御的主要方法。 这里的重要区别在于,可编辑训练旨在学习模型,可以有效地纠正某些样本上的行为。

同时,对抗训练会产生对某些输入扰动具有鲁棒性的模型。 但人们可以使用可编辑训练来针对合成和自然对抗示例有效地覆盖模型漏洞。

推荐阅读:BADGR机器人使用深度学习来规划和穿越无障碍路径
过去的项目和研究表明,深度学习是训练机器人做特定事情的有效技术。例如我们已经看到OpenAI使用神经网络训练Dactyl来解魔方,以及一种称为 ...


在许多深度学习应用程序中,单个模型错误可能导致毁灭性的财务、名誉乃至生命危险。 因此,至关重要的是要尽快纠正出现的模型错误。

可编辑训练,一种与模型无关的训练技术,可鼓励对训练后的模型进行快速编辑,并且这种方法的有效性对于大规模图像分类和机器翻译任务也很有希望。


作者:Ram Sagar
爱吧机器人网原创编译,转载请注明。
来源:https://analyticsindiamag.com/editable-neural-networks-deep-learning-efficiency/


上一篇:MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
下一篇:MIT用深度学习处理3D点云数据 应用于无人汽车等领域
精选推荐
谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图
谷歌宣布搜索算法重大升级,用BERT模型理解用户搜索意图

[2019-10-26]  谷歌刚刚宣布,其搜索引擎的核心算法正在进行一项重大升级,这项升级可能会改变10%的搜索结果排序。此项升级应用了自然语言处理技术(BERT ...

2018年企业数字化转型的五大趋势
2018年企业数字化转型的五大趋势

[2017-12-16]  据2016年哈佛商学院研究表明,选择进行数字化转型的企业在3年内表现出了55%的平均毛利润提升,相比之下其他企业毛利润同期降低了37%。数字化转型企业的领头羊,也曾是收入处于......

谷歌在中国成立一个新的人工智能(AI)研究中心
谷歌在中国成立一个新的人工智能(AI)研究中心

[2017-12-13]  谷歌正在中国建立一个新的人工智能(AI)研究中心,希望进一步扩展到中国,以充分利用中国高度重视的人工智能技术。人工智能是目前地球上最具竞争力的领域之一,亚马逊,微软......

人工智能准确预测患者一年内的死亡风险,原理却无法解释
人工智能准确预测患者一年内的死亡风险,原理却无法解释

[2019-11-13]  图片来自BURGER PHANIE SCIENCE PHOTO LIBRARY美国最新研究显示,人工智能通过查看心脏测试结果,以高达85%以上的准确率预测了一个人在一 ...

2023年服务机器人市场将超过250亿美元
2023年服务机器人市场将超过250亿美元

[2017-09-04]  全球服务机器人市场预计到2023年将达到250亿美元, 并在预测期内登记15% 的复合年增长率。短期中期回收期和投资回报率高 (ROI), 以及在教育和研究、临场感、防御、救援和安......

改变保险市场的格局:无人机如何通过更快的估算、响应时间和利益交付来使消费者受益
改变保险市场的格局:无人机如何通过更快的估算、响应时间和利益交付来

[2018-12-08]  市场研究公司IHS Markit预测,到2020年,专业无人机市场将通过农业,能源和建筑等行业利用测量,制图,规划等技术实现77 1%的复合年增长率(CAGR)。与此同时,消费者无人......

智能机器人困惑的时候知道该问什么问题
智能机器人困惑的时候知道该问什么问题

[2017-03-20]   照片:Nick Dentamaro 布朗大学 上周,我们提到了麻省理工学院的一些研究,即通过链接人的大脑来帮助机器人在他们将要犯错误的时 ...

英伟达用联合学习创建医学影像AI 可共享数据和保护隐私
英伟达用联合学习创建医学影像AI 可共享数据和保护隐私

[2019-10-14]  英伟达(Nvidia)和伦敦国王学院(King’s College London)的人工智能研究人员利用联合学习训练了一种用于脑肿瘤分类的神经网络, ...

本周栏目热点

实战深度强化学习DQN-理论和实践

[2018-07-30]  在Q-learning中,我们维护一张Q值表,表的维数为:状态数S * 动作数A,表中每个数代表在当前状态S下可以采用动作A可以获得的未来收益的折现和。我们不断的迭代我们的Q值表使......

DeepMind研究:AI复现大脑网格细胞模拟导航

[2018-05-11]  近日,DeepMind在Nature上发表的一篇论文引起AI领域和神经科学领域的极大震撼:AI展现出与人脑“网格细胞”高度一致的空间导航能力。这项发现有助于AI的可解释性和把神经科学......

50行代码玩转生成对抗网络GAN模型!(附源码)

[2018-07-30]  本文为大家介绍了生成对抗网络(Generate Adversarial Network,GAN),以最直白的语言来讲解它,最后实现一个简单的 GAN 程序来帮助大家加深理解。...

[2016-11-20]   在感知器和线性 神经网络 的学习 算法 中,理想输出与实际输出之差被用来估计神经元连接权值的误差。当为解决线性不可分问题而引 ...

用中文传话游戏理解RNN

[2018-05-31]  循环神经网络(RNN)是人工神经网络中非常流行的一个版本,其可以很好地处理序列数据类型。该数据类型指的是将一组数据点以特定顺序排列,从而使相关的数据点一个挨着一个,具......