-
题名基于图形重写和融合探索的张量虚拟机算符融合优化
- 1
-
-
作者
王娜
蒋林
李远成
朱筠
-
机构
西安科技大学计算机科学与技术学院
西安邮电大学电子工程学院
-
出处
《计算机应用》
CSCD
北大核心
2024年第9期2802-2809,共8页
-
基金
科技创新2030——“新一代人工智能”重大项目(2022ZD0119005)
国家自然科学基金资助项目(61834005)
陕西省自然科学基金资助项目(2020JM-525)。
-
文摘
针对计算密集型神经网络在使用张量虚拟机(TVM)算符融合过程中对计算图进行逐层查找导致访问次数过多、内存资源利用率低等问题,提出一种基于图形重写和融合探索的TVM算符融合优化方法。首先,对运算符的映射类型进行分析;其次,基于运算定律对计算图进行重写,简化计算图结构以减少中间结果生成,降低内存资源消耗并提升融合效率;再次,采用融合探索算法寻找融合代价较小的算符优先进行融合,避免数据冗余和寄存器溢出;最后,在CPU上实现神经网络算符融合,并测试融合加速性能。实验结果表明,所提方法可有效减少计算图层数和算符个数,降低访存频率和数据传输量。与TVM算符融合方法相比,所提方法在融合过程中的计算图层数平均减少18%,推理速度平均提升23%,验证了该方法在优化计算图融合过程中的有效性。
-
关键词
算符融合
图形重写
张量虚拟机
神经网络
融合探索
-
Keywords
operator fusion
graph rewriting
Tensor Virtual Machine(TVM)
neural network
fusion exploration
-
分类号
TP302.1
[自动化与计算机技术—计算机系统结构]
-
