-
题名学习成对样本运动显著性的细粒度人体骨架动作识别
被引量：1
- 1
-
-
作者
李红艳
涂志刚
谢伟
张嘉旭
-
机构
湖北经济学院信息工程学院
武汉大学测绘遥感信息工程国家重点实验室
华中师范大学计算机学院
-
出处
《中国科学：信息科学》
CSCD
北大核心
2023年第12期2440-2457,共18页
-
基金
湖北省杰出青年学者自然科学基金(批准号:2022CFA075)
国家自然科学基金(批准号:62106177)资助项目。
-
文摘
基于骨架数据的细粒度人体动作识别是一项重要的研究课题,但未被充分解决.由于骨架数据缺乏视觉表观信息,相似类别的人体动作很难被现有的深度网络模型识别.在这项工作中,我们提出了一个新型的运动显著性探测器(motion salience prober,MSP),并引入了配对学习(motion salience prober-incorporated pairwise-learning,MSP-PL)框架,以实现细粒度的骨架动作识别.我们的MSP-PL框架在构造成对的相似骨架运动样本基础上(查询样本与探测样本),利用运动显著性学习机制,促进编码器学习精细化的运动特征.其核心模块MSP可以在我们设计的探测样本和损失函数的帮助下,增强查询样本的显著性运动特征,并消除冗余的噪声.本文设计了3种探测样本构造策略来生成查询–探测样本对,辅助模型识别查询样本的动作,并测试了它们对模型性能的影响.在NTU-RGB+D120数据集与Kinetics-Skeleton数据集上的大量实验表明,我们的MSP-PL框架是通用的,大多数骨架特征编码器可以无缝嵌入其中,并显著提高其准确性.5个主流的编码器对精细化动作的平均分类准确率提高了2.4%以上.此外,我们的MSP-PL框架在与最新的编码器相结合时,在骨架动作识别方面达到了最先进的性能.
-
关键词
骨架动作识别
细粒度动作识别
视觉注意力
运动显著性学习
对比学习
-
Keywords
skeleton action recognition
fine-grained action recognition
visual attention
motion salience learning
contrastive learning
-
分类号
TP391.41
[自动化与计算机技术—计算机应用技术]
-
