爱吧机器人网 » 技术 > 神经网络 > 正文

可编辑神经网络,有望简化深度学习?

\
图片来自Andrew Buchanan的《Unsplash》
 
深度学习是一个计算繁重的过程。 降低成本一直是 Data curation 的一大挑战。 关于深度学习神经网络大功耗的训练过程,已经有研究人员发表了其碳足迹(温室气体排放集合)的报告。

情况只会越来越复杂,因为我们正迎来一个充斥着大量的机器学习应用程序的未来。但所幸的是,我们也看到一些能够让训练神经网络的过程变得更高效的策略正在被发明出来。

以更改单个输入来更新神经网络的预测可能会降低其他输入的性能。 当前,业内通常使用两种解决方法:

1、在原始数据集上重新训练模型,并补充解决错误的样本;
2、使用手动缓存(例如查找表)来代替对有问题的样本的模型预测;

虽然简单,但是这种方法对于输入中的细微变化并不稳健。 例如,在自然语言处理任务中,它不会概括出同一对象的不同观点或释义。 因此,在ICLR 2020的一篇正在审核的论文中,尚未公开姓名的作者提出了一种称为“可编辑训练”的替代方法。

神经网络的“修补”

\
可编辑神经网络也属于元学习范例,因为它们基本上是“学习允许有效修补”。

有效的神经网络修补问题不同于持续学习,因为研究人员认为,可编辑的训练设置本质上不是顺序的。

在这种情况下进行编辑意味着在不影响其他输入的情况下,更改输入对子集的模型预测(与错误分类的对象相对应)。

为此,构想出了编辑器功能,即一种给定约束的参数功能。 换句话说,非正式地,这是一个调整参数以满足给定约束的函数,该约束的作用是强制执行模型行为所需的更改。

对于图像分类实验,使用标准训练/测试分割获取小的CIFAR-10数据集。训练数据集进一步增加了随机裁剪和随机水平翻转。

在此数据集上训练的所有模型都遵循ResNet-18架构,并使用具有默认超参数的Adam优化器。

为深度神经网络实现Edit的自然方法是使用梯度下降。 根据作者的观点,标准的梯度下降编辑器可以用动量(momentum)、自适应学习率(adaptive learning rates)进一步增强。

但是,在许多实际情况下,绝大部分这些编辑都不会发生。 例如,比起“卡车”或“船”,以前被分类为“飞机”的图像更有可能需要编辑为“鸟”。 为了解决这个问题,作者采用了自然对抗样本(NAE)数据集。

该数据集包含7500个自然图像,这些图像很难用神经网络进行分类。 如果不进行编辑,经过预训练的模型可以正确地预测NAE中不到1%的数据,但是正确的答案可能在按预测概率排序的前100个类别中。

总结

可编辑训练与对抗训练有些相似,后者是对抗攻击防御的主要方法。 这里的重要区别在于,可编辑训练旨在学习模型,可以有效地纠正某些样本上的行为。

同时,对抗训练会产生对某些输入扰动具有鲁棒性的模型。 但人们可以使用可编辑训练来针对合成和自然对抗示例有效地覆盖模型漏洞。

在许多深度学习应用程序中,单个模型错误可能导致毁灭性的财务、名誉乃至生命危险。 因此,至关重要的是要尽快纠正出现的模型错误。

可编辑训练,一种与模型无关的训练技术,可鼓励对训练后的模型进行快速编辑,并且这种方法的有效性对于大规模图像分类和机器翻译任务也很有希望。


作者:Ram Sagar
爱吧机器人网原创编译,转载请注明。
来源:https://analyticsindiamag.com/editable-neural-networks-deep-learning-efficiency/

上一篇:MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
下一篇:最后一页

本周栏目热点

用2NDN快速构建基于时间序列的股票预测模型及示例详解

[2016-11-20]   0 概述2NDN神经网络建模仿真工具是一个可视化的神经网络建模应用开发平台,她基于可连接组件的模块化结构实现,可扩展性极强,可用 ...

DeepMind研究:AI复现大脑网格细胞模拟导航

[2018-05-11]  近日,DeepMind在Nature上发表的一篇论文引起AI领域和神经科学领域的极大震撼:AI展现出与人脑“网格细胞”高度一致的空间导航能力。这项发现有助于AI的可解释性和把神经科学......

如何将人工神经网络与自然历史科学想结合

[2017-11-15]  你可能以为人类关于自然科学的研究已经很深入了,你可能以为人类关注世界的认知已经很丰富了,但是实际上,却有数以万计,甚至是数以亿计的物种正在各国的自然历史博物馆中沉......

[2016-11-20]   Hopfield网络是 神经网络 发展历史上的一个重要的里程碑。Hopfield 神经网络 是1982年美国物理学家J Hopfield首先提出来的,属于 ...

[2016-11-20]   在感知器和线性 神经网络 的学习 算法 中,理想输出与实际输出之差被用来估计神经元连接权值的误差。当为解决线性不可分问题而引 ...

精选推荐

7种常见的机器人焊接类型
7种常见的机器人焊接类型

[2017-12-17]  机器人焊接是工业领域最常见的机器人应用之一,近几十年来主要由汽车行业驱动。机器人焊接在完成大批量,重复性的焊接任务时效率最高。...

如何让人工智能机器人快速自我纠正错误并吃一堑长一智?
如何让人工智能机器人快速自我纠正错误并吃一堑长一智?

[2017-08-23]  莱斯特大学数学系的研究人员在《Neural Networks》杂志上发表了一篇文章,概述了新算法的数学基础,可以使人工智能收集错误报告并立即纠正,而不影响现有技能 ,同时还会积......

英伟达用联合学习创建医学影像AI 可共享数据和保护隐私
英伟达用联合学习创建医学影像AI 可共享数据和保护隐私

[2019-10-14]  英伟达(Nvidia)和伦敦国王学院(King’s College London)的人工智能研究人员利用联合学习训练了一种用于脑肿瘤分类的神经网络, ...

美国喷气推进实验室的AI驱动无人机挑战人类飞行员
美国喷气推进实验室的AI驱动无人机挑战人类飞行员

[2017-12-08]  随着无人机及其组件越来越小,效率越来越高,功能越来越强大,我们已经看到越来越多的研究开始让无人机自主飞行在半结构化的环境中,而不依赖于外部定位。 宾夕法尼亚大学在......

助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出
助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出

[2017-12-25]  本文提出了一个大型的、长序列的、用于行人重识别的视频数据集,简称LVreID。与现有的同类数据集相比,该数据集具有以下特点:1)长序列:平均每段视频序列长为200帧,包含丰......

可编辑神经网络,有望简化深度学习?
可编辑神经网络,有望简化深度学习?

[2019-10-04]  深度学习是一个计算繁重的过程。 降低成本一直是 Data curation 的一大挑战。 关于深度学习神经网络大功耗的训练过程,已经有研究人员 ...

机器人灵巧手将成为智能机器人的下一个重大突破
机器人灵巧手将成为智能机器人的下一个重大突破

[2018-01-25]  计算机科学教授兼东北地区助手机器人实验室负责人罗伯特·普拉特(Robert Platt)说:“机器人手操作是下一步要解决的问题。想象一下,一个机器人可以在现实世界中用手去做事......

机器人iCub作为嵌入式AI的标准机器人研究平台的重要性
机器人iCub作为嵌入式AI的标准机器人研究平台的重要性

[2017-12-24]  机器人的研究在过去10年中得益于一个具有嵌入式人工智能(AI)的标准化开源平台——人形机器人iCub。iCub最初在意大利被创建,如今在欧洲、美国、韩国、新加坡和日本的实验室......