课堂行为识别需要模型具有较快的推理速度、较少的参数量以及较好的模型鲁棒性。现有轻量化模型虽然达到了不错的实时性能,但其在面对课堂复杂场景时准确率较低,难以达到实际要求。针对此问题,提出了聚焦线性注意力姿态估计网络FLAPose(...课堂行为识别需要模型具有较快的推理速度、较少的参数量以及较好的模型鲁棒性。现有轻量化模型虽然达到了不错的实时性能,但其在面对课堂复杂场景时准确率较低,难以达到实际要求。针对此问题,提出了聚焦线性注意力姿态估计网络FLAPose(focused linear attention pose,FLAPose),重新设计的分组注意力(sectionalization attention,SA)增强了模型捕捉局部信息的能力,然后使用聚焦线性注意力(focused linear attention,FLA)设计增强模型学习骨架信息的效果,最后通过骨骼损失对模型辅助监督,增强模型对遮挡重叠区域的学习能力。实验表明:与基线网络RTMPose相比,FLAPose在更少参数和计算量的情况下,COCO数据集上的平均准确率提升了1.7%,CS-Dataset数据集上平均准确率提升4.8%。此外,模型通过TensorRT加速后部署在推理服务器中,测量了模型在GPU上的每秒帧数(frames per second,FPS),FLAPose的FPS在GPU上超过764.460,在CPU上超过215.63,高于其他所有网络。展开更多
文摘课堂行为识别需要模型具有较快的推理速度、较少的参数量以及较好的模型鲁棒性。现有轻量化模型虽然达到了不错的实时性能,但其在面对课堂复杂场景时准确率较低,难以达到实际要求。针对此问题,提出了聚焦线性注意力姿态估计网络FLAPose(focused linear attention pose,FLAPose),重新设计的分组注意力(sectionalization attention,SA)增强了模型捕捉局部信息的能力,然后使用聚焦线性注意力(focused linear attention,FLA)设计增强模型学习骨架信息的效果,最后通过骨骼损失对模型辅助监督,增强模型对遮挡重叠区域的学习能力。实验表明:与基线网络RTMPose相比,FLAPose在更少参数和计算量的情况下,COCO数据集上的平均准确率提升了1.7%,CS-Dataset数据集上平均准确率提升4.8%。此外,模型通过TensorRT加速后部署在推理服务器中,测量了模型在GPU上的每秒帧数(frames per second,FPS),FLAPose的FPS在GPU上超过764.460,在CPU上超过215.63,高于其他所有网络。
