-
题名基于轻量级图卷积的人体骨架动作识别方法
被引量：8
- 1
-
-
作者
孙琪翔
何宁
张聪聪
刘圣杰
-
机构
北京联合大学北京市信息服务工程重点实验室
北京联合大学智慧城市学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2022年第5期306-313,共8页
-
基金
国家自然科学基金(61872042,61572077)
北京市教委科技计划重点项目(KZ201911417048)
+3 种基金
北京市教委科技计划面上项目(KM202111417009)
北京联合大学人才强校优选计划(BPHR2020AZ01,BPHR2020EZ01)
北京联合大学科研项目(ZK50202001)
北京联合大学研究生科研创新项目(YZ2020K001)。
-
文摘
视频中的人体动作识别在计算机视觉领域得到广泛关注,基于人体骨架的动作识别方法可以明确地表现人体动作,因此已逐渐成为该领域的重要研究方向之一。针对多数主流人体动作识别方法网络参数量大、计算复杂度高等问题,设计一种融合多流数据的轻量级图卷积网络,并将其应用于人体骨架动作识别任务。在数据预处理阶段,利用多流数据融合方法对4种特征数据流进行融合,通过一次训练就可得到最优结果,从而降低网络参数量。设计基于图卷积网络的非局部网络模块,以捕获图像的全局信息从而提高动作识别准确率。在此基础上,设计空间Ghost图卷积模块和时间Ghost图卷积模块,从网络结构上进一步降低网络参数量。在动作识别数据集NTU60 RGB+D和NTU120 RGB+D上进行实验,结果表明,与近年主流动作识别方法ST-GCN、2s AS-GCN、2s AGCN等相比,基于该轻量级图卷积网络的人体骨架动作识别方法在保持较低网络参数量的情况下能够取得较高的识别准确率。
-
关键词
人体骨架动作识别
数据融合
图卷积
非局部网络模块
Ghost网络
-
Keywords
human skeleton action recognition
data fusion
graph convolution
non-local network module
Ghost network
-
分类号
TP391.4
[自动化与计算机技术—计算机应用技术]
-
-
题名一种用于动作识别的双分支网络
- 2
-
-
作者
秦晓飞
蔡锐
陈萌
张文奇
何常香
张学典
-
机构
上海理工大学光电信息与计算机工程学院
上海宇航系统工程研究所
-
出处
《光学仪器》
2022年第4期16-25,共10页
-
基金
上海市人工智能专项(2019-RGZN-01077)。
-
文摘
动作识别是计算机视觉领域的一项重要任务,主要有基于RGB视频和人体骨架两种数据模态的领域,主流方法分别是3D卷积神经网络和图卷积神经网络。针对视频和人体骨架两种数据模态的不同特点,设计了双分支网络分别对两种数据模态进行建模。对于人体骨架数据,基于自注意力机制设计了图卷积神经网络,该算法能在基于骨架的动作识别任务中达到先进的性能。对于视频数据,采用3D卷积网络进行特征提取。同时,利用深监督方法对两种数据模态的中间特征进行监督,提高两种数据特征的耦合度,进一步提高网络效率。这种算法的网络结构简单,在NTU-RGBD60(CS)数据集上仅用3.37×10^(7)的参数量可达到95.6%的精度。
-
关键词
基于人体骨架的动作识别
图卷积神经网络
自注意力机制
3D卷积神经网络
-
Keywords
skeleton-based action recognition
graph convolutional neural network
selfattention mechanism
3D convolution neural network
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
