-
题名一种基于动态量化编码的深度神经网络压缩方法
被引量：8
- 1
-
-
作者
饶川
陈靓影
徐如意
刘乐元
-
机构
华中师范大学国家数字化学习工程技术研究中心
华中师范大学教育大数据国家工程实验室
-
出处
《自动化学报》
EI
CSCD
北大核心
2019年第10期1960-1968,共9页
-
基金
国家重点研发计划(2018YFB1004504)
中央高校基本业务费(CCNU19Z02002)
+3 种基金
中国博士后科学基金(2018M632889)
湖北省自然科学基金(2017CFB504)
湖北省创新研究团队(2017CFA007)
国家自然科学基金(61702208,61807014)资助~~
-
文摘
近年来深度神经网络(Deep neural network,DNN)从众多机器学习方法中脱颖而出,引起了广泛的兴趣和关注.然而,在主流的深度神经网络模型中,其参数数以百万计,需要消耗大量的计算和存储资源,难以应用于手机等移动嵌入式设备.为了解决这一问题,本文提出了一种基于动态量化编码(Dynamic quantization coding,DQC)的深度神经网络压缩方法.不同于现有的采用静态量化编码(Static quantitative coding,SQC)的方法,本文提出的方法在模型训练过程中同时对量化码本进行更新,使码本尽可能减小较大权重参数量化引起的误差.通过大量的对比实验表明,本文提出的方法优于现有基于静态编码的模型压缩方法.
-
关键词
深度神经网络
模型压缩
动态量化编码
码本更新
-
Keywords
Deep neural network (DNN)
model compression
dynamic quantization coding (DQC)
codebook update
-
分类号
TP183
[自动化与计算机技术—控制理论与控制工程]
-
