爱吧机器人网 » 技术 > 神经网络 > 正文

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射

一、论文题目
 
MAERI:可重构互联架构赋能DNN加速器灵活数据流映射

二、摘要

在计算机视觉和语音识别方面,深度神经网络(DNN)已经被广泛认为是一种非常有前景的解决方案,并且正在成为众多其他人工智能应用领域的计算基础。然而,这些算法的计算复杂度和对高能效的需求导致了对专用硬件加速器研究的激增。为了减少访问DRAM的延迟和功率消耗,大多数的DNN加速器本质上是以空间换时间,通过扩展数百个处理元件(PE)并行操作并且彼此之间直接通信。

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
DNN的发展是日新月异的,并且在最近的网络结构中,大多同时包括卷积层、递归层、池化层和全连接层等,且具有不同的输入大小和滤波器尺寸。它们可能是稠密的或稀疏的。它们还可以以多种方式(层内和跨层)进行分块,以获得数据的重用(权重和中间输出)。这些计算特征都可能导致不同的加速器数据流模式。

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
不幸的是,大多数的DNN加速器仅支持固定的数据流模式,因为它们对PE和片上网络(NoC)进行了精细的协同设计,以期达到最优的性能功耗比。实际上,它们中的大多数仅针对卷积层内的数据流进行了优化。这使得在结构上有效地映射任意数据流变得极具挑战性,并且可能导致可用计算资源的利用率极低。

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
DNN加速器需要可编程以实现大规模部署。要使它们可编程,它们需要在内部进行重构,以支持可以映射到加速器上的各种数据流模式。为了满足这一需求,我们提供了MAERI,它是一个DNN加速器,内置一组模块化和可配置的构建块,可以通过适当配置互联架构轻松支持无数DNN分区和映射。 MAERI使用刚性NoC结构,在基准测试上的多个数据流映射中提供了8-459%的资源利用率提升。

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
(MAERI的不同功能模块)

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
(不同架构下面积和功耗对比)

MAERI:可重构互联架构赋能DNN加速器灵活数据流映射
(3x3x3kernel和5x5x3input的映射实例)



Abstract

Deep neural networks (DNN) have demonstrated highly promising results across computer vision and speech recognition, and are becoming foundational for ubiquitous AI. The computational complexity of these algorithms and a need for high energy-efficiency has led to a surge in research on hardware accelerators. To reduce the latency and energy costs of accessing DRAM, most DNN accelerators are spatial in nature, with hundreds of processing elements (PE) operating in parallel and communicating with each other directly. DNNs are evolving at a rapid rate, and it is common to have convolution, recurrent, pooling, and fully-connected layers with varying input and filter sizes in the most recent topologies.They may be dense or sparse. They can also be partitioned in myriad ways (within and across layers) to exploit data reuse (weights and intermediate outputs). All of the above can lead to different dataflow patterns within the accelerator substrate. Unfortunately, most DNN accelerators support only fixed dataflow patterns internally as they perform a careful co-design of the PEs and the network-on-chip (NoC). In fact, the majority of them are only optimized for traffic within a convolutional layer. This makes it challenging to map arbitrary dataflows on the fabric efficiently, and can lead to underutilization of the available compute resources. DNN accelerators need to be programmable to enable mass deployment. For them to be programmable, they need to be configurable internally to support the various dataflow patterns that could be mapped over them. To address this need, we present MAERI, which is a DNN accelerator built with a set of modular and configurable building blocks that can easily support myriad DNN partitions and mappings by appropriately configuring tiny switches. MAERI provides 8-459% better utilization across multiple dataflow mappings over baselines with rigid NoC fabrics.



如果你对本文感兴趣,想要下载完整文章进行阅读,可以关注【AI食堂】公众号(AIStation)。




上一篇:用人工智能神经网络给黑白照片上色 复现记忆中的旧时光
下一篇:可编辑神经网络,有望简化深度学习?
精选推荐
亚马逊计划建一个4000万美元的机器人中心
亚马逊计划建一个4000万美元的机器人中心

[2019-11-07]  爱吧机器人网消息,亚马逊11月6日宣布了一项计划,计划在美国马萨诸塞州韦斯特伯勒建立一个4000万美元、35万平方英尺的机器人创新中心。新 ...

Waymo:人性和行为心理学才是无人驾驶最大的挑战
Waymo:人性和行为心理学才是无人驾驶最大的挑战

[2019-11-03]  自动驾驶汽车作为AI领域内最大的挑战之一,谷歌致力于其研发已有十余载,现在他们逐渐意识到,最困难的是如何让人们享受驾驶的乐趣。这是一 ...

九台“猎豹”机器人组队踢球,麻省理工高材生们的高级趣味
九台“猎豹”机器人组队踢球,麻省理工高材生们的高级趣味

[2019-11-09]  本周,在麻省理工学院10号楼外草坪上展开了一场别开生面的足球比赛。在绿草如茵的基利安球场上,一群由人工智能驱动的机器人就是这场比赛的 ...

亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶机器人(巨型机甲)
亚马逊CEO杰夫·贝佐斯操控巨型有人驾驶机器人(巨型机甲)

[2017-03-21]  近日,亚马逊CEO杰夫·贝佐斯实现了每一个6岁儿童都会有的梦想,他控制了一个巨大的机甲机器人。据国外媒体Verge报道,前天(3月19日),贝 ...

2023年服务机器人市场将超过250亿美元
2023年服务机器人市场将超过250亿美元

[2017-09-04]  全球服务机器人市场预计到2023年将达到250亿美元, 并在预测期内登记15% 的复合年增长率。短期中期回收期和投资回报率高 (ROI), 以及在教育和研究、临场感、防御、救援和安......

2017年:AI渗入云端
2017年:AI渗入云端

[2017-12-29]  云中的人工智能不仅仅是科技巨头的权力游戏,它也可能是人工智能领域的下一个飞跃。加利福尼亚州的Rigetti Computing公司刚刚使用其原型量子芯片之一在其云平台上运行机器学......

科学家从蟑螂获得启发 教机器人更好地走路
科学家从蟑螂获得启发 教机器人更好地走路

[2017-12-11]  Weihmann指出:“我特别感到惊讶的是,动物运动稳定机制的变化与腿部协调的变化是一致的。昆虫的慢运行非常稳定,因为它的重心很低,三条腿总是以协调的方式运动。...

麻省理工最新机器人“装配工”未来可建造太空基地
麻省理工最新机器人“装配工”未来可建造太空基地

[2019-10-17]  两个机器人原型把一系列小单元组装成大结构体麻省理工学院科研人员最近提出一种新型机器人技术,即一种小型机器人系统,能够自主地用统一规 ...

本周栏目热点

神经网络:人工智能以及我们的未来

[2016-11-20]   作者:James Crowder翻译:王益军审校:心原文链接:techcrunch把自己想象成在一辆未来的自动驾驶汽车的乘客。这辆汽车与你以一种 ...

[2016-11-20]   include "stdio h" include "stdlib h" include "time h" include "math h" *********************************************i ...

OpenAI开辟全新AI音乐领域,发布Jukebox神经网络生产歌曲

[2020-05-19]  日前,外媒报道,人工智能(AI)技术生成的音乐会给人们带来非常奇妙体验。其中有两大原因,第一,这是一个非常吸引人的全新领域;第二,这 ...

50行代码玩转生成对抗网络GAN模型!(附源码)

[2018-07-30]  本文为大家介绍了生成对抗网络(Generate Adversarial Network,GAN),以最直白的语言来讲解它,最后实现一个简单的 GAN 程序来帮助大家加深理解。...

深度神经网络揭示了大脑喜欢看什么

[2019-11-06]  爱吧机器人网编者按:近日,《自然-神经科学》发表了一篇论文,研究人员创建了一种深度人工神经网络,能够准确预测生物大脑对视觉刺激所产 ...