-
题名深度神经网络压缩与加速综述
被引量：61
- 1
-
-
作者
纪荣嵘
林绍辉
晁飞
吴永坚
黄飞跃
-
机构
厦门大学信息科学与技术学院
福建省智慧城市感知与计算重点实验室(厦门大学)
上海腾讯科技有限公司优图实验室
-
出处
《计算机研究与发展》
EI
CSCD
北大核心
2018年第9期1871-1888,共18页
-
基金
国家重点研发计划项目(2017YFC0113000
2016YFB10015032)
+5 种基金
国家自然科学基金项目(U1705262
61772443
61402388
61572410)
国家自然科学基金优秀青年科学基金项目(61422210)
福建省自然科学基金项目(2017J01125)~~
-
文摘
深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结,这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏.具体地,将概述一些经典深度神经网络模型,详细描述深度神经网络压缩与加速方法,并强调这些方法的特性及优缺点.此外,总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集,同时讨论分析一些代表性方法的性能表现.最后,根据不同任务的需要,讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望.
-
关键词
深度神经网络压缩
深度神经网络加速
参数剪枝
参数共享
低秩分解
知识蒸馏
-
Keywords
DNN compression
DNN acceleration
parameter pruning
parameter sharing
low-rank decomposition
knowledge distillation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
