爱吧机器人网 » 技术 > 神经网络 > 正文

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射

核心提示:在计算机视觉和语音识别方面,深度神经网络(DNN)已经被广泛认为是一种非常有前景的解决方案,并且正在成为众多其他

一、论文题目
 
MAERI:可重构互联架构赋能DNN加速器灵活数据流映射

二、摘要

在计算机视觉和语音识别方面,深度神经网络(DNN)已经被广泛认为是一种非常有前景的解决方案,并且正在成为众多其他人工智能应用领域的计算基础。然而,这些算法的计算复杂度和对高能效的需求导致了对专用硬件加速器研究的激增。为了减少访问DRAM的延迟和功率消耗,大多数的DNN加速器本质上是以空间换时间,通过扩展数百个处理元件(PE)并行操作并且彼此之间直接通信。

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
DNN的发展是日新月异的,并且在最近的网络结构中,大多同时包括卷积层、递归层、池化层和全连接层等,且具有不同的输入大小和滤波器尺寸。它们可能是稠密的或稀疏的。它们还可以以多种方式(层内和跨层)进行分块,以获得数据的重用(权重和中间输出)。这些计算特征都可能导致不同的加速器数据流模式。

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
不幸的是,大多数的DNN加速器仅支持固定的数据流模式,因为它们对PE和片上网络(NoC)进行了精细的协同设计,以期达到最优的性能功耗比。实际上,它们中的大多数仅针对卷积层内的数据流进行了优化。这使得在结构上有效地映射任意数据流变得极具挑战性,并且可能导致可用计算资源的利用率极低。

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
DNN加速器需要可编程以实现大规模部署。要使它们可编程,它们需要在内部进行重构,以支持可以映射到加速器上的各种数据流模式。为了满足这一需求,我们提供了MAERI,它是一个DNN加速器,内置一组模块化和可配置的构建块,可以通过适当配置互联架构轻松支持无数DNN分区和映射。 MAERI使用刚性NoC结构,在基准测试上的多个数据流映射中提供了8-459%的资源利用率提升。

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
(MAERI的不同功能模块)

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
(不同架构下面积和功耗对比)

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
(3x3x3kernel和5x5x3input的映射实例)



Abstract

Deep neural networks (DNN) have demonstrated highly promising results across computer vision and speech recognition, and are becoming foundational for ubiquitous AI. The computational complexity of these algorithms and a need for high energy-efficiency has led to a surge in research on hardware accelerators. To reduce the latency and energy costs of accessing DRAM, most DNN accelerators are spatial in nature, with hundreds of processing elements (PE) operating in parallel and communicating with each other directly. DNNs are evolving at a rapid rate, and it is common to have convolution, recurrent, pooling, and fully-connected layers with varying input and filter sizes in the most recent topologies.They may be dense or sparse. They can also be partitioned in myriad ways (within and across layers) to exploit data reuse (weights and intermediate outputs). All of the above can lead to different dataflow patterns within the accelerator substrate. Unfortunately, most DNN accelerators support only fixed dataflow patterns internally as they perform a careful co-design of the PEs and the network-on-chip (NoC). In fact, the majority of them are only optimized for traffic within a convolutional layer. This makes it challenging to map arbitrary dataflows on the fabric efficiently, and can lead to underutilization of the available compute resources. DNN accelerators need to be programmable to enable mass deployment. For them to be programmable, they need to be configurable internally to support the various dataflow patterns that could be mapped over them. To address this need, we present MAERI, which is a DNN accelerator built with a set of modular and configurable building blocks that can easily support myriad DNN partitions and mappings by appropriately configuring tiny switches. MAERI provides 8-459% better utilization across multiple dataflow mappings over baselines with rigid NoC fabrics.



如果你对本文感兴趣,想要下载完整文章进行阅读,可以关注【AI食堂】公众号(AIStation)。



上一篇:用人工智能神经网络给黑白照片上色 复现记忆中的旧时光
下一篇:最后一页

本周栏目热点

神经网络:人工智能以及我们的未来

[2016-11-20]   作者:James Crowder翻译:王益军审校:心原文链接:techcrunch把自己想象成在一辆未来的自动驾驶汽车的乘客。这辆汽车与你以一种 ...

[干货]一张地铁图看懂人工智能算法发展(含代码)

[2018-06-19]  如果你说我是个AI小白,也想了解人工智能深度学习,尤其是想解决应用方面的问题,那就照着下面这张地铁图,按不同方向,来学习菜谱,原料,调料和基本功吧。...

tensorflow 神经网络分类模型构建全过程

[2017-11-08]  很多人行业中的老人都在向刚刚入行的新手提出建议:一开始进入到机器学习之中,最需要涉足的便是工作原理,只有将整套的工作原理弄清楚之后,才可以正式开始动手实践,这才是......

通过对抗性图像黑入大脑

[2018-03-02]  在上面的图片中,左边是一张猫的照片。在右边,你能分辨出它是同一只猫的图片,还是一张看起来相似的狗的图片?这两张图片之间的区别在于, ...

[2016-11-20]   BP人工 神经网络 改进 算法 C语言BP网络接受样本的顺序会对训练结果有较大的影响,基本 算法 比较偏爱较后出现的样本,因此,改进 算法 为 ...

精选推荐

美国Natilus公司试飞水上无人货机 设计简单成本降低
美国Natilus公司试飞水上无人货机 设计简单成本降低

[2017-12-28]  Natilus创业公司成立于2014年,其梦想是建造大型无人机,以半价提供比船舶快得多国际货运。在十二月份,Natilus计划在旧金山湾测试一个9米翼展的小型原型无人机的水上滑行能力......

7种常见的机器人焊接类型
7种常见的机器人焊接类型

[2017-12-17]  机器人焊接是工业领域最常见的机器人应用之一,近几十年来主要由汽车行业驱动。机器人焊接在完成大批量,重复性的焊接任务时效率最高。...

助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出
助力卷积神经网络时空特征学习 史上最大行人重识别视频数据集被提出

[2017-12-25]  本文提出了一个大型的、长序列的、用于行人重识别的视频数据集,简称LVreID。与现有的同类数据集相比,该数据集具有以下特点:1)长序列:平均每段视频序列长为200帧,包含丰......

亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶机器人(巨型机甲)
亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶机器人(巨型机甲)

[2017-03-21]  近日,亚马逊CEO杰夫·贝佐斯实现了每一个6岁儿童都会有的梦想,他控制了一个巨大的机甲机器人。据国外媒体Verge报道,前天(3月19日),贝 ...

人工神经网络技术解码人类行为和想象时的大脑活动信号
人工神经网络技术解码人类行为和想象时的大脑活动信号

[2017-08-23]  为搜索引擎过滤信息,棋盘游戏对弈,识别图像 人工智能在某些任务中远远超过了人类智能。来自弗莱堡由神经科学家私人讲师Tonio Ball博士领导的几个杰出的BrainLinks-Bra......

这些人型机器人是如此真实,你的肉眼几乎无法区分
这些人型机器人是如此真实,你的肉眼几乎无法区分

[2017-09-03]   我们生活在一个区分现实与幻想变得越来越困难的世界。由于机器人技术的进步,创造人工的人类正在逐渐接近完美的最终目标。我们现在看到的机器人不再只是一块发光二极管,......

人工智能民主化能否实现取决于科技巨头
人工智能民主化能否实现取决于科技巨头

[2017-12-29]  我们经常听到像谷歌和微软这样的公司说他们希望人工智能民主化。这是一个很好的词,民主化。 但这些公司如何界定“民主化”还不清楚,像AI本身一样,它似乎有点炒作的味道...

通过对抗性图像黑入大脑
通过对抗性图像黑入大脑

[2018-03-02]  在上面的图片中,左边是一张猫的照片。在右边,你能分辨出它是同一只猫的图片,还是一张看起来相似的狗的图片?这两张图片之间的区别在于, ...