针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框...针对多变量时序(Multivariate Time Series,MTS)分类中长序列数据难以捕捉时序特征的问题,提出一种基于双向稀疏Transformer的时序分类模型BST(Bidirectional Sparse Transformer),提高了MTS分类任务的准确度.BST模型使用Transformer框架,构建了一种基于活跃度得分的双向稀疏注意力机制.基于KL散度构建活跃度评价函数,并将评价函数的非对称问题转变为对称权重问题.据此,对原有查询矩阵、键值矩阵进行双向稀疏化,从而降低原Transformer模型中自注意力机制运算的时间复杂度.实验结果显示,BST模型在9个长序列数据集上取得最高平均排名,在临界差异图中领先第2名35.7%,对于具有强时序性的乙醇浓度数据集(Ethanol Concentration,EC),分类准确率提高30.9%.展开更多
视频字幕生成(Video Captioning)旨在用自然语言描述视频中的内容,在人机交互、辅助视障人士、体育视频解说等领域具有广泛的应用前景。然而视频中复杂的时空内容变化增加了视频字幕生成的难度,之前的方法通过提取时空特征、先验信息等...视频字幕生成(Video Captioning)旨在用自然语言描述视频中的内容,在人机交互、辅助视障人士、体育视频解说等领域具有广泛的应用前景。然而视频中复杂的时空内容变化增加了视频字幕生成的难度,之前的方法通过提取时空特征、先验信息等方式提高生成字幕的质量,但在时空联合建模方面仍存在不足,可能导致视觉信息提取不充分,影响字幕生成结果。为了解决这个问题,本文提出一种新颖的时空增强的状态空间模型和Transformer(SpatioTemporal-enhanced State space model and Transformer,ST2)模型,通过引入最近流行的具有全局感受野和线性的计算复杂度的Mamba(一种状态空间模型),增强时空联合建模能力。首先,通过将Mamba与Transformer并行结合,提出空间增强的状态空间模型(State Space Model,SSM)和Transformer(Spatial enHanced State space model and Transformer module,SH-ST),克服了卷积的感受野问题并降低计算复杂度,同时增强模型提取空间信息的能力。然后为了增强时间建模,我们利用Mamba的时间扫描特性,并结合Transformer的全局建模能力,提出时间增强的SSM和Transformer(Temporal enHanced State space model and Transformer module,TH-ST)。具体地,我们对SH-ST产生的特征进行重排序,从而使Mamba以交叉扫描的方式增强重排序后特征的时间关系,最后用Transformer进一步增强时间建模能力。实验结果表明,我们ST2模型中SH-ST和TH-ST结构设计的有效性,且在广泛使用的视频字幕生成数据集MSVD和MSR-VTT上取得了具有竞争力的结果。具体的,我们的方法分别在MSVD和MSR-VTT数据集上的绝对CIDEr分数超过最先进的结果6.9%和2.6%,在MSVD上的绝对CIDEr分数超过了基线结果4.9%。展开更多
风机叶片质量不平衡会导致风机在旋转时产生较大的离心力,进而引发整个系统的机械振动,长期处于振动情况下运行,风机叶片、主轴和传动系统等关键部件会产生应力集中,缩短风机使用寿命及其发电效率。针对风机叶片不平衡造成的风电机组振...风机叶片质量不平衡会导致风机在旋转时产生较大的离心力,进而引发整个系统的机械振动,长期处于振动情况下运行,风机叶片、主轴和传动系统等关键部件会产生应力集中,缩短风机使用寿命及其发电效率。针对风机叶片不平衡造成的风电机组振动信号难以提取以及模型诊断精度低、模型结构复杂的问题,文章提出一种基于变分模态分解(variational mode decomposition,VMD)信号输入的轻量化Transformer模型,用于风机叶片不平衡故障诊断。首先对原始的振动信号进行变分模态分解,将其分解为多个模态的时域信号,增大故障信号的维度;其次,为了降低模型的复杂度,提出一种不含位置编码的改进Transformer诊断模型,简化模型复杂度;最后通过监测和数据采集(supervisory control and data acquisition,SCADA)系统采集风机机舱振动数据进行实验分析。实验结果表明,所提方案可以实现对风机叶片质量不平衡故障诊断,其精度可达到98.3%。展开更多
文摘视频字幕生成(Video Captioning)旨在用自然语言描述视频中的内容,在人机交互、辅助视障人士、体育视频解说等领域具有广泛的应用前景。然而视频中复杂的时空内容变化增加了视频字幕生成的难度,之前的方法通过提取时空特征、先验信息等方式提高生成字幕的质量,但在时空联合建模方面仍存在不足,可能导致视觉信息提取不充分,影响字幕生成结果。为了解决这个问题,本文提出一种新颖的时空增强的状态空间模型和Transformer(SpatioTemporal-enhanced State space model and Transformer,ST2)模型,通过引入最近流行的具有全局感受野和线性的计算复杂度的Mamba(一种状态空间模型),增强时空联合建模能力。首先,通过将Mamba与Transformer并行结合,提出空间增强的状态空间模型(State Space Model,SSM)和Transformer(Spatial enHanced State space model and Transformer module,SH-ST),克服了卷积的感受野问题并降低计算复杂度,同时增强模型提取空间信息的能力。然后为了增强时间建模,我们利用Mamba的时间扫描特性,并结合Transformer的全局建模能力,提出时间增强的SSM和Transformer(Temporal enHanced State space model and Transformer module,TH-ST)。具体地,我们对SH-ST产生的特征进行重排序,从而使Mamba以交叉扫描的方式增强重排序后特征的时间关系,最后用Transformer进一步增强时间建模能力。实验结果表明,我们ST2模型中SH-ST和TH-ST结构设计的有效性,且在广泛使用的视频字幕生成数据集MSVD和MSR-VTT上取得了具有竞争力的结果。具体的,我们的方法分别在MSVD和MSR-VTT数据集上的绝对CIDEr分数超过最先进的结果6.9%和2.6%,在MSVD上的绝对CIDEr分数超过了基线结果4.9%。
文摘风机叶片质量不平衡会导致风机在旋转时产生较大的离心力,进而引发整个系统的机械振动,长期处于振动情况下运行,风机叶片、主轴和传动系统等关键部件会产生应力集中,缩短风机使用寿命及其发电效率。针对风机叶片不平衡造成的风电机组振动信号难以提取以及模型诊断精度低、模型结构复杂的问题,文章提出一种基于变分模态分解(variational mode decomposition,VMD)信号输入的轻量化Transformer模型,用于风机叶片不平衡故障诊断。首先对原始的振动信号进行变分模态分解,将其分解为多个模态的时域信号,增大故障信号的维度;其次,为了降低模型的复杂度,提出一种不含位置编码的改进Transformer诊断模型,简化模型复杂度;最后通过监测和数据采集(supervisory control and data acquisition,SCADA)系统采集风机机舱振动数据进行实验分析。实验结果表明,所提方案可以实现对风机叶片质量不平衡故障诊断,其精度可达到98.3%。
