-
题名改进伪三维残差网络的微表情识别方法
- 1
-
-
作者
肖振久
陶嘉伟
-
机构
辽宁工程技术大学软件学院
-
出处
《软件导刊》
2024年第11期63-73,共11页
-
基金
辽宁省高等学校基本科研项目(LJKMZ20220699)
辽宁工程技术大学学科创新团队项目(LNTU20TD-23)。
-
文摘
针对微表情特征捕捉难度大、识别率低存在的问题,提出一种改进伪三维残差网络的微表情识别方法。首先,预处理数据集样本后,在伪三维残差网络(Pseudo-3DResNet)设计阶段,针对基本3D残差单元层间顺序不合理、输出值不稳定及信息传播阻塞3个问题,设计了Pseudo-3D-SS、Pseudo-3D-PS、Pseudo-3D-SSS不同的瓶颈结构,并应用到4个残差块中。其次,将两个独立设计的卷积层和池化层应用在不同残差块间过滤表征不强的微表情序列,以进一步突出有价值的特征信息和去除冗余,实现时空特征提取。最后,为进一步降低亮度变化对光流特征提取的影响,提升追踪特征点速度,改进了基于L_(1)范数的全变分光流法,利用TV-OFM方法提取光流特征以得到每个微表情的水平光流序列和垂直光流序列。实验表明,所提方法相较于近期方法的未加权F_(1)值(UF_(1))、未加权平均召回率(UAR)分别提升3.61%、2.92%;在光流法比较实验中,所提方法追踪特征点的速度相较于比较方法提升30.08%;将包含改进的4个残差块变体与其他网络变体比较发现,所提模型的Avg(UF_(1)+UAR)提升2.5%,网络结构具有更强的泛化和特征提取能力;在层中叠加卷积和池化操作能更平衡地提取特征,进一步提高识别率,使模型更具鲁棒性和先进性。
-
关键词
微表情识别
TV-OFM光流法
伪三维残差网络
残差块
LOOCV评估方法
-
Keywords
micro-expression recognition
TV-OFM
Pseudo-3DResNet
residual block
LOOCV
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于光流法与伪三维残差网络的微表情识别
被引量：4
- 2
-
-
作者
唐宏
朱龙娇
范森
刘红梅
-
机构
重庆邮电大学通信与信息工程学院
重庆邮电大学移动通信技术重庆市重点实验室
-
出处
《信号处理》
CSCD
北大核心
2022年第5期1075-1087,共13页
-
基金
长江学者和创新团队发展计划(IRT_16R72)。
-
文摘
微表情是一种动态变化的面部表情,具有复杂的时空特征,给其识别带来了极大的困难。本文提出一种基于光流法与伪三维残差网络(P3D ResNet)的微表情识别方法,通过光流法对微表情运动信息建模,为网络提供关键信息的同时丰富数据空间维度,采用伪三维残差网络进一步学习微表情的时间和空间特征。首先,将三个主流的微表情数据集进行融合,并对融合的数据集进行预处理;然后使用TVL1光流法提取表征微表情运动信息的光流特征序列,将得到的光流特征序列与微表情灰度图像序列进行通道连接,形成一个新的三通道微表情图像序列;最后将获得的微表情数据进行数据增强送入伪三维残差网络同时提取微表情的时空特征以实现微表情的识别。其中,P3D ResNet是在残差网络的框架中采用二维卷积滤波器提取微表情的空间特征,一维卷积滤波器提取微表情的时间特征来模拟三维卷积滤波器。在融合数据集上的实验表明,本文方法的性能相对基准方法有了显著的改进,UF1和UAR分别提高了14.71%、14.58%。本文提出的方法在融合数据集及三个独立数据集上的识别性能优于现有较先进的方法,从而证明了本文的微表情识别方法的先进性和鲁棒性。
-
关键词
微表情识别
光流法
伪三维残差网络
数据增强
跨数据库
-
Keywords
micro-expressionrecognition
opticalflowmethod
pseudothree-dimensionalresidualnetwork
dataaugmentation
cross-database
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
-
题名基于最小类内方差的伪三维残差网络
被引量：3
- 3
-
-
作者
谢超宇
秦玉
张开放
王晓明
-
机构
西华大学计算机与软件工程学院
-
出处
《计算机应用研究》
CSCD
北大核心
2021年第12期3801-3807,共7页
-
基金
西华大学研究生创新基金资助项目(ycjj2019085)。
-
文摘
作为一种提取视频时空特征的深度学习方法,伪三维残差网络(pseudo-3D residual net,P3D ResNet)利用SVM目标函数来驱动深度网络学习,这样该方法继承了SVM的不足——仅考虑了不同类别间的间隔,忽略了同类样本数据的分布信息。针对该问题,提出了基于最小类内方差的伪三维残差网络方法,不仅体现了大间隔原理,同时又利用了样本数据的分布信息。该方法首先使用P3D ResNet提取的特征向量计算类内散度矩阵;然后利用该矩阵构建了新的目标函数;最后通过新构建的目标函数来驱动P3D ResNet的学习。将该方法应用到行为识别领域,多个数据集上的实验结果表明,相比于传统的P3D ResNet,所提出的方法获得了更高的识别准确率,体现出了更好的泛化性能。
-
关键词
深度学习
伪三维残差网络
支持向量机
类内散度矩阵
行为识别
-
Keywords
deep learning
pseudo-3D residual network
SVM
intra-class divergence matrix
action recognition
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-
