针对卫星双向时间频率传递(two-way satellite time and frequency transfer, TWSTFT)存在周日效应、短期稳定度不高的问题,通过引入基于注意力机制的Transformer权值矩阵,利用Vondrak-Cepek组合滤波的方法将中国科学院国家授时中心(Nat...针对卫星双向时间频率传递(two-way satellite time and frequency transfer, TWSTFT)存在周日效应、短期稳定度不高的问题,通过引入基于注意力机制的Transformer权值矩阵,利用Vondrak-Cepek组合滤波的方法将中国科学院国家授时中心(National Time Service Center, NTSC)、德国物理技术研究院(Physikalisch-Technische Bundesanstalt, PTB)之间的TWSTFT和全球定位系统(Global Positioning System, GPS)P3码共视法的时间比对链路进行融合,分析融合前后链路的性能指标并与没有周日效应、短期稳定度高的GPS精密单点定位(GPS precise point positioning, GPS PPP)时间比对参考链路进行比较。结果表明,引入注意力机制权值的Vondrak-Cepek组合滤波融合方法与参考链路GPS PPP的标准差为0.310 9 ns,具有改善TWSTFT周日效应、提升链路整体稳定性的作用。展开更多
人脸特征蕴含诸多信息,在面部属性和情感分析任务中具有重要价值,而面部特征的多样性和复杂性使人脸分析任务变得困难。针对上述难题,从面部细粒度特征角度出发,提出基于上下文通道注意力机制的人脸属性估计和表情识别(FAER)模型。首先...人脸特征蕴含诸多信息,在面部属性和情感分析任务中具有重要价值,而面部特征的多样性和复杂性使人脸分析任务变得困难。针对上述难题,从面部细粒度特征角度出发,提出基于上下文通道注意力机制的人脸属性估计和表情识别(FAER)模型。首先,构建基于ConvNext的局部特征编码骨干网络,并运用骨干网络编码局部特征的有效性来充分表征人脸局部特征之间的差异性;其次,提出上下文通道注意力(CC Attention)机制,通过动态自适应调整特征通道上的权重信息,表征深度特征的全局和局部特征,从而弥补骨干网络编码全局特征能力的不足;最后,设计不同分类策略,针对人脸属性估计(FAE)和面部表情识别(FER)任务,分别采用不同损失函数组合,以促使模型学习更多的面部细粒度特征。实验结果表明,所提FAER模型在人脸属性数据集CelebA(CelebFaces Attributes)上取得了91.87%的平均准确率,相较于次优模型SwinFace(Swin transformer for Face)高出0.55个百分点;在面部表情数据集RAF-DB和AffectNet上分别取得了91.75%和66.66%的准确率,相较于次优模型TransFER(Transformers for Facial Expression Recognition)分别高出0.84和0.43个百分点。展开更多
图对比学习因其可有效缓解数据稀疏问题被广泛应用在推荐系统中.然而,目前大多数基于图对比学习的推荐算法均采用单一视角进行学习,这极大地限制了模型的泛化能力,且图卷积网络本身存在的过度平滑问题也影响着模型的稳定性.基于此,提出...图对比学习因其可有效缓解数据稀疏问题被广泛应用在推荐系统中.然而,目前大多数基于图对比学习的推荐算法均采用单一视角进行学习,这极大地限制了模型的泛化能力,且图卷积网络本身存在的过度平滑问题也影响着模型的稳定性.基于此,提出一种融合层注意力机制的多视角图对比学习推荐方法.一方面,该方法提出2种不同视角下的3种对比学习,在视图级视角下,通过对原始图添加随机噪声构建扰动增强视图,利用奇异值分解(singular value decomposition)重组构建SVD增强视图,对这2个增强视图进行视图级对比学习;在节点视角下,利用节点间的语义信息分别进行候选节点和候选结构邻居对比学习,并将3种对比学习辅助任务和推荐任务进行多任务学习优化,以提高节点嵌入的质量,从而提升模型的泛化能力.另一方面,在图卷积网络学习用户和项目的节点嵌入时,采用层注意力机制的方式聚合最终的节点嵌入,提高模型的高阶连通性,以缓解过度平滑问题.在4个公开数据集LastFM,Gowalla,Ifashion,Yelp上与10个经典模型进行对比,结果表明该方法在Recall,Precision,NDCG这3个指标上分别平均提升3.12%,3.22%,4.06%,这说明所提方法是有效的.展开更多
针对基于深度学习的水印方法未充分突显图像的关键特征,以及未有效利用中间卷积层输出特征的问题,为提升含水印图像的视觉质量和抵抗噪声攻击的能力,提出一种融合注意力机制和多尺度特征的图像水印方法。在编码器部分,设计注意力模块关...针对基于深度学习的水印方法未充分突显图像的关键特征,以及未有效利用中间卷积层输出特征的问题,为提升含水印图像的视觉质量和抵抗噪声攻击的能力,提出一种融合注意力机制和多尺度特征的图像水印方法。在编码器部分,设计注意力模块关注重要图像特征,以减小水印嵌入引起的图像失真;在解码器部分,设计多尺度特征提取模块,以捕获不同层次的图像细节。实验结果表明,在COCO数据集上与深度水印模型HiDDeN(Hiding Data with Deep Networks)相比,所提方法生成的含水印图像的峰值信噪比(PSNR)和结构相似度(SSIM)分别增加了11.63%和1.29%;所提方法针对dropout、cropout、crop、高斯模糊和JPEG压缩的水印提取平均误比特率(BER)降低了53.85%;此外,消融实验结果验证了添加注意力模块和多尺度特征提取模块的方法有更好的不可见性和鲁棒性。展开更多
文摘针对卫星双向时间频率传递(two-way satellite time and frequency transfer, TWSTFT)存在周日效应、短期稳定度不高的问题,通过引入基于注意力机制的Transformer权值矩阵,利用Vondrak-Cepek组合滤波的方法将中国科学院国家授时中心(National Time Service Center, NTSC)、德国物理技术研究院(Physikalisch-Technische Bundesanstalt, PTB)之间的TWSTFT和全球定位系统(Global Positioning System, GPS)P3码共视法的时间比对链路进行融合,分析融合前后链路的性能指标并与没有周日效应、短期稳定度高的GPS精密单点定位(GPS precise point positioning, GPS PPP)时间比对参考链路进行比较。结果表明,引入注意力机制权值的Vondrak-Cepek组合滤波融合方法与参考链路GPS PPP的标准差为0.310 9 ns,具有改善TWSTFT周日效应、提升链路整体稳定性的作用。
文摘人脸特征蕴含诸多信息,在面部属性和情感分析任务中具有重要价值,而面部特征的多样性和复杂性使人脸分析任务变得困难。针对上述难题,从面部细粒度特征角度出发,提出基于上下文通道注意力机制的人脸属性估计和表情识别(FAER)模型。首先,构建基于ConvNext的局部特征编码骨干网络,并运用骨干网络编码局部特征的有效性来充分表征人脸局部特征之间的差异性;其次,提出上下文通道注意力(CC Attention)机制,通过动态自适应调整特征通道上的权重信息,表征深度特征的全局和局部特征,从而弥补骨干网络编码全局特征能力的不足;最后,设计不同分类策略,针对人脸属性估计(FAE)和面部表情识别(FER)任务,分别采用不同损失函数组合,以促使模型学习更多的面部细粒度特征。实验结果表明,所提FAER模型在人脸属性数据集CelebA(CelebFaces Attributes)上取得了91.87%的平均准确率,相较于次优模型SwinFace(Swin transformer for Face)高出0.55个百分点;在面部表情数据集RAF-DB和AffectNet上分别取得了91.75%和66.66%的准确率,相较于次优模型TransFER(Transformers for Facial Expression Recognition)分别高出0.84和0.43个百分点。
文摘图对比学习因其可有效缓解数据稀疏问题被广泛应用在推荐系统中.然而,目前大多数基于图对比学习的推荐算法均采用单一视角进行学习,这极大地限制了模型的泛化能力,且图卷积网络本身存在的过度平滑问题也影响着模型的稳定性.基于此,提出一种融合层注意力机制的多视角图对比学习推荐方法.一方面,该方法提出2种不同视角下的3种对比学习,在视图级视角下,通过对原始图添加随机噪声构建扰动增强视图,利用奇异值分解(singular value decomposition)重组构建SVD增强视图,对这2个增强视图进行视图级对比学习;在节点视角下,利用节点间的语义信息分别进行候选节点和候选结构邻居对比学习,并将3种对比学习辅助任务和推荐任务进行多任务学习优化,以提高节点嵌入的质量,从而提升模型的泛化能力.另一方面,在图卷积网络学习用户和项目的节点嵌入时,采用层注意力机制的方式聚合最终的节点嵌入,提高模型的高阶连通性,以缓解过度平滑问题.在4个公开数据集LastFM,Gowalla,Ifashion,Yelp上与10个经典模型进行对比,结果表明该方法在Recall,Precision,NDCG这3个指标上分别平均提升3.12%,3.22%,4.06%,这说明所提方法是有效的.
文摘针对基于深度学习的水印方法未充分突显图像的关键特征,以及未有效利用中间卷积层输出特征的问题,为提升含水印图像的视觉质量和抵抗噪声攻击的能力,提出一种融合注意力机制和多尺度特征的图像水印方法。在编码器部分,设计注意力模块关注重要图像特征,以减小水印嵌入引起的图像失真;在解码器部分,设计多尺度特征提取模块,以捕获不同层次的图像细节。实验结果表明,在COCO数据集上与深度水印模型HiDDeN(Hiding Data with Deep Networks)相比,所提方法生成的含水印图像的峰值信噪比(PSNR)和结构相似度(SSIM)分别增加了11.63%和1.29%;所提方法针对dropout、cropout、crop、高斯模糊和JPEG压缩的水印提取平均误比特率(BER)降低了53.85%;此外,消融实验结果验证了添加注意力模块和多尺度特征提取模块的方法有更好的不可见性和鲁棒性。
