期刊文献+
共找到75篇文章
< 1 2 4 >
每页显示 20 50 100
基于稀疏注意力卷积ViT模型的锌浮选工况识别
1
作者 苏越 唐朝晖 +4 位作者 谢永芳 高小亮 张虎 马炜烨 汤海玚 《工程科学学报》 EI 北大核心 2025年第2期328-338,共11页
准确识别锌浮选工况并用于指导锌浮选操作,可以提高浮选效率、优化选矿过程.目前浮选现场主要通过人工肉眼观察泡沫并依据经验判断工况,这种方法主观性强,难以客观准确地评价锌浮选工况.针对该问题,本文通过研究锌浮选泡沫视觉特征和浮... 准确识别锌浮选工况并用于指导锌浮选操作,可以提高浮选效率、优化选矿过程.目前浮选现场主要通过人工肉眼观察泡沫并依据经验判断工况,这种方法主观性强,难以客观准确地评价锌浮选工况.针对该问题,本文通过研究锌浮选泡沫视觉特征和浮选工况的密切联系,提出基于稀疏注意力卷积ViT模型的锌浮选工况识别方法.首先,所提模型融合了卷积神经网络(Convolutional neural networks,CNN)和视觉Transformer(Vision transformer,ViT)的结构和优点,同时感知泡沫局部空间信息和全局信息,完备表征泡沫图像.其次,模型引入稀疏的多头注意力机制,每个注意力头以不同的稀疏程度处理特征,从不同尺度下感知全局信息,同时引入注意力门控单元优化特征传递,最终实现锌浮选工况识别.实验结果表明,本文所提工况识别方法在锌浮选泡沫图像数据集上的准确率达到88.62%,解决了传统CNN和ViT模型不能充分利用泡沫图像全局信息,且无法自适应捕捉泡沫图像重要特征的问题,为浮选流程优化提供有力支持. 展开更多
关键词 工况识别 卷积神经网络 视觉Transformer 稀疏注意力 泡沫浮选
在线阅读 下载PDF
基于稀疏注意力的红外弱小目标检测方法
2
作者 张兴旺 李大威 +1 位作者 蔺素珍 禄晓飞 《红外技术》 北大核心 2025年第3期342-350,共9页
针对复杂背景下红外弱小目标像素占比少,细节纹理特征匮乏导致特征提取困难、检测率低、虚警率高的问题,提出一种基于稀疏注意力和多尺度特征融合的红外弱小目标检测网络。该网络利用Resnest的分割注意力提取不同尺度特征,引入Biformer... 针对复杂背景下红外弱小目标像素占比少,细节纹理特征匮乏导致特征提取困难、检测率低、虚警率高的问题,提出一种基于稀疏注意力和多尺度特征融合的红外弱小目标检测网络。该网络利用Resnest的分割注意力提取不同尺度特征,引入Biformer注意力模块学习目标与背景之间的远程关系,采用融合模块将高、低层特征进行融合,经过Head模块输出检测结果二值图。实验结果表明,本文方法在IoU和F_(measure)这两项指标中均取得最优,与DNANet方法相比,所提方法的交并比(IoU)提高3.9%、F_(measure)提高5.6%;与ABCNet方法相比,所提方法的IoU提高5.8%、F_(measure)提高10%;并且在不同复杂背景下均可有效检测出红外弱小目标,体现良好的鲁棒性和适应性,可以有效应用于复杂背景中的红外弱小目标检测。 展开更多
关键词 红外弱小目标检测 稀疏注意力 特征融合 鲁棒性
在线阅读 下载PDF
改进稀疏注意力和Autogram的滚动轴承微弱特征提取
3
作者 毛勇 黄勇波 +2 位作者 侯修群 苗碧琪 张钊光 《噪声与振动控制》 北大核心 2025年第1期158-164,235,共8页
滚动轴承故障信息在分析域中呈现稀疏分布的特点,针对复杂无关信息会严重干扰声发射信号特征提取的问题,提出一种改进稀疏注意力机制结合Autogram的滚动轴承微弱特征提取方法。对声发射时域信号进行平方包络,利用基于改进深度稀疏注意... 滚动轴承故障信息在分析域中呈现稀疏分布的特点,针对复杂无关信息会严重干扰声发射信号特征提取的问题,提出一种改进稀疏注意力机制结合Autogram的滚动轴承微弱特征提取方法。对声发射时域信号进行平方包络,利用基于改进深度稀疏注意力机制的多尺度卷积神经网络(Convolutional neural networks,CNN),挖掘关键频段信息;将关键频段作为滤波依据进行滤波处理,获取注意力增强信号;进一步,考虑到滚动轴承缺陷引起的声发射信号具有强周期性与脉冲性,引入Autogram方法,利用平方包络的自相关峭度作为筛选指标优选解调频带,以解决谱峭度等方法在低信噪比及非高斯噪声干扰情况下特征提取效果不佳的问题;最后,计算最优解调子信号的平方包络谱,实现滚动轴承微弱故障特征提取。基于滚动轴承内圈、外圈故障实测信号进行验证,并与Kurtogram、Autogram方法进行对比,证明所提方法可实现滚动轴承声发射信号微弱特征增强与故障特征提取。 展开更多
关键词 故障诊断 稀疏注意力机制 Autogram 特征增强 滚动轴承
在线阅读 下载PDF
基于非对称稀疏注意力的单流Transformer跟踪器
4
作者 樵宏运 刘绒 高赟 《计算机技术与发展》 2025年第2期166-173,共8页
单流Transformer跟踪框架在目标模板和搜索区域图像信息聚合方面表现出了强大优势,其以ViT(Vision Transformer)网络作为骨干网络进行统一特征提取和关系建模,已成为单目标跟踪主流框架之一。然而,由于模板Token信息流和搜索区域信息流... 单流Transformer跟踪框架在目标模板和搜索区域图像信息聚合方面表现出了强大优势,其以ViT(Vision Transformer)网络作为骨干网络进行统一特征提取和关系建模,已成为单目标跟踪主流框架之一。然而,由于模板Token信息流和搜索区域信息流经过注意力操作进行自由交互,导致模板特征提取和搜索区域特征提取受到大量来自搜索区域背景信息的干扰。针对上述问题,提出了一种基于非对称稀疏注意力的单流Transformer跟踪方法。在注意力操作中,对单流Transformer跟踪算法的不同信息流进行了划分和分析。然后,采用注意力稀疏的方法,对搜索区域和模板区域相关信息流和搜索区域自相关信息使用动态阈值的方法进行非对称稀疏化,使得跟踪器更加关注搜索区域中与目标相关的信息。在GOT-10k、TrackingNet、TNL2K、NFS、OTB和UAV123六个公开基准数据集上的实验表明,该方法在减少了背景信息干扰的同时有效提升了单流Transformer跟踪器的鲁棒性。 展开更多
关键词 目标跟踪 视觉Transformer 抑制干扰 多头注意力 注意力稀疏
在线阅读 下载PDF
基于稀疏注意力关系网络的小样本图像分类方法 被引量:1
5
作者 郭礼华 王广飞 《重庆科技学院学报(自然科学版)》 CAS 2024年第1期41-47,共7页
针对小样本图像分类问题,从卷积操作的局部连接性和基于非局部操作的注意力机制出发,提出了稀疏注意力关系网络(SARN)模型。在非局部操作过程中,利用稀疏策略筛选参与响应计算的相关特征。通过稀疏注意力机制构建不同空间位置相关特征... 针对小样本图像分类问题,从卷积操作的局部连接性和基于非局部操作的注意力机制出发,提出了稀疏注意力关系网络(SARN)模型。在非局部操作过程中,利用稀疏策略筛选参与响应计算的相关特征。通过稀疏注意力机制构建不同空间位置相关特征之间的依赖性,切断语义无关特征之间的联系。后续卷积操作对不同空间位置的语义相关特征进行度量,抑制了无关信息的干扰,提高了模型的整体度量能力。通过在Mini-ImageNet和Tiered-ImageNet数据集上进行的一系列实验发现,相较于其他小样本学习模型,SARN模型的性能获得了显著提升。 展开更多
关键词 小样本学习 度量学习 关系网络 稀疏注意力机制 双重注意力机制
在线阅读 下载PDF
基于探针稀疏注意力机制的门控Transformer模型
6
作者 赵婷婷 丁翘楚 +2 位作者 马冲 陈亚瑞 王嫄 《天津科技大学学报》 CAS 2024年第3期56-63,共8页
在强化学习中,智能体对状态序列进行编码,根据历史信息指导动作的选择,通常将其建模为递归型神经网络,但其存在梯度消失和梯度爆炸的问题,难以处理长序列。以自注意力机制为核心的Transformer是一种能够有效整合长时间范围内信息的机制... 在强化学习中,智能体对状态序列进行编码,根据历史信息指导动作的选择,通常将其建模为递归型神经网络,但其存在梯度消失和梯度爆炸的问题,难以处理长序列。以自注意力机制为核心的Transformer是一种能够有效整合长时间范围内信息的机制,将传统Transformer直接应用于强化学习中存在训练不稳定和计算复杂度高的问题。门控Transformer-XL(GTrXL)解决了Transformer在强化学习中训练不稳定的问题,但仍具有很高的计算复杂度。针对此问题,本研究提出了一种具有探针稀疏注意力机制的门控Transformer(PS-GTr),其在GTrXL中的恒等映射重排和门控机制的基础上引入了探针稀疏注意力机制,降低了时间复杂度和空间复杂度,进一步提高了训练效率。通过实验验证,PS-GTr在强化学习任务中的性能与GTrXL相当,而且训练时间更短,内存占用更少。 展开更多
关键词 深度强化学习 注意力机制 探针稀疏注意力机制
在线阅读 下载PDF
融合稀疏注意力机制在DDoS攻击检测中的应用
7
作者 王博 万良 +2 位作者 叶金贤 刘明盛 孙菡迪 《计算机工程与设计》 北大核心 2024年第5期1312-1320,共9页
针对现有的DDoS(distributed denial of service)攻击检测模型面临大量数据时,呈现出检测效率低的问题。为适应当前网络环境,通过研究DDoS攻击检测模型、提取流量特征、计算攻击密度,提出一种基于融合稀疏注意力机制的DDoS攻击检测模型G... 针对现有的DDoS(distributed denial of service)攻击检测模型面临大量数据时,呈现出检测效率低的问题。为适应当前网络环境,通过研究DDoS攻击检测模型、提取流量特征、计算攻击密度,提出一种基于融合稀疏注意力机制的DDoS攻击检测模型GVBNet(global variable block net),使用攻击密度自适应计算稀疏注意力。利用信息熵以及信息增益分析提取攻击流量的连续字节作为特征向量,通过构建基于GVBNet的网络模型在两种数据集上进行训练。实验结果表明,该方法具有良好的识别效果、检测速度以及抗干扰能力,在不同的环境下具有应用价值。 展开更多
关键词 分布式拒绝服务攻击 稀疏注意力机制 攻击密度 信息熵 信息增益 模型优化 攻击检测
在线阅读 下载PDF
基于变量融合和稀疏注意力的系统日志异常检测方法
8
作者 苏岩 史方旭 +1 位作者 禹可 吴晓非 《智能安全》 2024年第3期12-20,共9页
随着计算和网络技术的进步,计算机应用系统的规模和复杂性不断增加,系统日志数据的数量和类型也随之迅速增加。因此,识别日志是否异常成为保障复杂系统安全的重大挑战。然而,现有的基于规则或机器学习的日志异常检测方法存在局限性,如... 随着计算和网络技术的进步,计算机应用系统的规模和复杂性不断增加,系统日志数据的数量和类型也随之迅速增加。因此,识别日志是否异常成为保障复杂系统安全的重大挑战。然而,现有的基于规则或机器学习的日志异常检测方法存在局限性,如忽略日志变量、日志语义特征提取不足及在检测新类型日志时性能不佳。为了解决上述问题,本文提出了一种新型的基于深度学习的日志异常检测模型——基于变量融合和稀疏注意力的模版驱动异常检测方法。该模型融合了日志数据中的模板和变量信息,并通过引入稀疏注意力机制,在处理长序列日志时表现出了优异的性能,可以有效地捕获并表征序列的整体特征。不仅能理解日志变量的语义,还能有效检测日志序列中的异常行为。实验结果表明,该模型在3个开源数据集上展示了较高的性能。 展开更多
关键词 异常检测 日志模版 日志变量 稀疏注意力机制
在线阅读 下载PDF
基于交叉可变特征融合和动态稀疏注意力YOLOv8的遥感森林野火检测模型
9
作者 岳庚 《计算机科学与应用》 2024年第9期130-140,共11页
为了解决传统火焰烟雾检测算法在森林树木遮挡与雨雾天气因素影响下存在漏检误检、准确性下降、小目标检测效果不佳的缺陷,提出了基于交叉可变特征融合和动态稀疏注意力YOLOv8的遥感森林野火检测模型。首先,针对火焰烟雾目标特征复杂的... 为了解决传统火焰烟雾检测算法在森林树木遮挡与雨雾天气因素影响下存在漏检误检、准确性下降、小目标检测效果不佳的缺陷,提出了基于交叉可变特征融合和动态稀疏注意力YOLOv8的遥感森林野火检测模型。首先,针对火焰烟雾目标特征复杂的问题,在C2f模块中融合可变形卷积网络(DCNv3)实现特征融合,提升对网络图像中不同尺度火焰烟雾空间位置变化的细节感知能力,增强了网络在不同尺度下的特征表示能力。然后,在主干检测网络加入BiFormer注意力模块,达到抑制干扰信息,提升模型表征能力的效果。最后,引入小目标检测层,进一步提高了检测精度。改进后的算法相比于传统算法,mAP50值提高了1.3%,P值提高了1.5%,R值提高了0.4%。In order to solve the shortcomings of the traditional flame and smoke detection algorithm under the influence of forest tree occlusion and rain and fog weather factors, such as missing detection, false detection, reduced accuracy and poor detection effect of small targets, a remote sensing wildfire detection model based on cross-variable feature fusion and dynamic sparse attention YOLOv8 is proposed. Firstly, in order to solve the problem of complex features of flame smoke targets, the C2f module is fused with a Deformable Convolution Network v3 (DCNv3) to achieve feature fusion, which improves the detail perception ability of the spatial position changes of flame smoke at different scales in the network image, and enhances the feature representation ability of the network at different scales. Then, the attention module of BiFormer was added to the backbone detection network to suppress the interference information and improve the model representation ability. Finally, small object detection layer is introduced to further improve the detection accuracy. Compared with the traditional algorithm, the mAP50 value is increased by 1.3%, the P value is increased by 1.5%, and the R value is increased by 0.4%. 展开更多
关键词 森林野火检测 YOLOv8 动态稀疏注意力机制 交叉可变模块 小目标检测层
在线阅读 下载PDF
基于动态稀疏注意力的地铁客流预测模型 被引量:4
10
作者 马茜 梁奕 +1 位作者 段毅 曾尚琦 《城市轨道交通研究》 北大核心 2022年第4期22-26,共5页
地铁客流预测是随时间演变的多维时间序列数据,不同序列之间存在复杂的动态相互依赖关系。为挖掘多种监测指标之间存在的内在复杂关系,提出动态稀疏注意力模型:利用全局变量注意力自动选择相关驱动序列,增强模型预测的判别性;根据局部... 地铁客流预测是随时间演变的多维时间序列数据,不同序列之间存在复杂的动态相互依赖关系。为挖掘多种监测指标之间存在的内在复杂关系,提出动态稀疏注意力模型:利用全局变量注意力自动选择相关驱动序列,增强模型预测的判别性;根据局部紧密相关和全局稀疏相关的先验知识,对历史时间步和相关变量分别卷积和稀疏卷积,提取局部时间和局部变量特征;设计了稀疏注意力对相关时间步加权和变量加权,提高预测表现。结果表明,与其他常用客流预测模型相比,动态稀疏注意力模型能高度准确地预测客流。 展开更多
关键词 地铁 客流预测 动态稀疏注意力模型
在线阅读 下载PDF
基于稀疏注意力的自适应图池化方法 被引量:2
11
作者 朱小草 郭春生 +1 位作者 张宏宽 金昊炫 《杭州电子科技大学学报(自然科学版)》 2021年第5期32-38,共7页
针对图神经网络池化中不能充分保留图的局部特征的问题,提出一种基于稀疏注意力自适应图池化方法。首先,运用稀疏注意力自适应地选择相似度高的节点形成集群;然后,运用局部聚合卷积,通过节点聚合形成集群表示,选取集群表示最大的topk个... 针对图神经网络池化中不能充分保留图的局部特征的问题,提出一种基于稀疏注意力自适应图池化方法。首先,运用稀疏注意力自适应地选择相似度高的节点形成集群;然后,运用局部聚合卷积,通过节点聚合形成集群表示,选取集群表示最大的topk个节点完成采样;最后,在池化时保留图的局部特征以降低信息损失,从而提高图分类的性能。实验结果表明,与传统图池化方法相比,提出方法的分类正确率有所提升。 展开更多
关键词 图池化 稀疏注意力 自适应处理
在线阅读 下载PDF
基于稀疏注意力机制的城轨车辆轴温预测模型 被引量:1
12
作者 张恒志 蒋雨良 《科技与创新》 2021年第3期1-4,共4页
列车运行时走行部的安全至关重要,车载系统采集走行部信息呈现多维时间序列长度,时间序列往往因为过长导致时序模型难以记忆,反而使得模型精度降低。为此,提出一种基于稀疏注意力机制的城轨车辆轴温预测模型。首先建立稀疏注意力的时间... 列车运行时走行部的安全至关重要,车载系统采集走行部信息呈现多维时间序列长度,时间序列往往因为过长导致时序模型难以记忆,反而使得模型精度降低。为此,提出一种基于稀疏注意力机制的城轨车辆轴温预测模型。首先建立稀疏注意力的时间序列模型,在线下进行模型训练,并基于微调的方式将一个轴承的温度预测模型逐个迁移到所有轴承上;线下训练完成后对在线数据进行预测,并检测温度是否异常,确认异常轴承的位置进行停车检查、修复故障。实验结果表明,稀疏注意力机制相比于RNN、LSTM等传统时间序列网络能够处理更长的时间序列,对轴承温度的预测具有更高的精度。 展开更多
关键词 城轨车辆 轴承温度 时间序列 稀疏注意力
在线阅读 下载PDF
一种基于时空稀疏注意力的时空图挖掘算法
13
作者 谢毅 王强 +4 位作者 李海宏 金诚 任洪润 薛雯 熊贇 《计算机工程》 CAS CSCD 北大核心 2023年第4期108-113,共6页
当前用于时空图挖掘的算法通常基于专家预定义或者经过特征增强的静态图结构,这些静态的图结构往往依赖于主观先验知识构建,并且不包含时间动态性的变化。为完成自动获取时空图数据中动态图特征的任务,提出一种基于时空稀疏注意力的时... 当前用于时空图挖掘的算法通常基于专家预定义或者经过特征增强的静态图结构,这些静态的图结构往往依赖于主观先验知识构建,并且不包含时间动态性的变化。为完成自动获取时空图数据中动态图特征的任务,提出一种基于时空稀疏注意力的时空图挖掘算法(STSAN)。构造空间稀疏注意力层,通过对每个时间片上节点间的关系进行度量生成稀疏图,并在各个稀疏图结构上使用注意力机制完成节点空间(纵向)特征的提取。时间稀疏注意力层通过类似的方式完成节点时序(横向)特征的提取。在此基础上,将空间稀疏注意力层和时间稀疏注意力层堆叠为时空稀疏Transformer模块,完成时空依赖关系建模。实验结果表明,与DCRNN、STGCN等方法相比,该算法在2个公开的交通数据集上能够获得2.65%~16.35%的性能提升,将所提出的空间稀疏注意力层直接用于替换现有算法的空间特征模块,能够在原算法基础上获得平均3.18%~9.14%的性能提升。 展开更多
关键词 时空图 稀疏注意力 图结构 时空依赖 动态性
在线阅读 下载PDF
融合稀疏注意力和时间查询的视频目标检测
14
作者 梅思怡 刘彦隆 《计算机工程与应用》 CSCD 北大核心 2023年第20期192-199,共8页
在视频目标检测任务中,检测精度受到多重因素影响,包括检测对象随时间的外观变化、视频文件的抖动、散焦导致单帧图像的模糊、重影等,为提高视频文件的目标检测精度、改善目标边缘检测模糊的问题,提出一种改进的端到端的视频目标检测网... 在视频目标检测任务中,检测精度受到多重因素影响,包括检测对象随时间的外观变化、视频文件的抖动、散焦导致单帧图像的模糊、重影等,为提高视频文件的目标检测精度、改善目标边缘检测模糊的问题,提出一种改进的端到端的视频目标检测网络。一方面,通过引入稀疏注意力机制使目标前景更加聚焦,减少注意力分散和背景干扰,提升边缘检测的精准度;另一方面,引入时间融合查询模块,利用具有更多信息的浅层编码器链接参考帧的时间查询,实现跨时间上下文的特征融合和目标帧的特征增强。此外,通过利用远近距离稀疏地选取参考帧来补充目标的运动模糊,同时减少冗余。在ImageNet VID和UA-DETRAC这两个数据集上分别对模型进行评估,准确率可达到92.3%和90.9%。实验结果表明,所提模型在视频目标检测任务上效果更好,综合性能较其他先进网络有所提升。 展开更多
关键词 目标检测 视频目标检测 稀疏注意力机制 对象查询
在线阅读 下载PDF
基于稀疏自注意力图神经网络的三维目标检测
15
作者 彭志辰 封岸松 +2 位作者 王天柱 邵鑫喆 库涛 《计算机工程与应用》 北大核心 2025年第3期295-305,共11页
三维目标检测是自动驾驶环境感知中最重要的技术之一。为了解决远距离漏检问题,提升三维目标检测的效果,提出一种基于稀疏自注意力图神经网络的三维目标检测方法(SSA-GNN),在采样关键点阶段,提出动态区域并行采样法,通过采样区域过滤,... 三维目标检测是自动驾驶环境感知中最重要的技术之一。为了解决远距离漏检问题,提升三维目标检测的效果,提出一种基于稀疏自注意力图神经网络的三维目标检测方法(SSA-GNN),在采样关键点阶段,提出动态区域并行采样法,通过采样区域过滤,场景划分为扇区,融合动态最远体素采样的方式,以保持关键点均匀分布、加速采样同时提升前景点比例。在细化建议框阶段,利用图神经网络在点之间建立联系,通过迭代的消息传递来更好地建模上下文信息和聚合领域信息,并改进多头自注意机制来更好地关注特征聚合后领域中的重要关系,从而提高算法检测性能。SSA-GNN在KITTI公开数据集上进行测试,与基线网络PointPillars、SECOND和PointRCNN相比,在困难等级指标下,Car类平均精度分别提升了7.95、5.50、6.94个百分点,结果表明SSA-GNN可有效提升三维目标检测性能。 展开更多
关键词 三维目标检测 关键点采样 图神经网络 稀疏注意力
在线阅读 下载PDF
融合RNN与稀疏自注意力的文本摘要方法
16
作者 刘钟 唐宏 +1 位作者 王宁喆 朱传润 《计算机工程》 北大核心 2025年第1期312-320,共9页
随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影... 随着深度学习的高速发展,基于序列到序列(Seq2Seq)架构的文本摘要方法成为研究焦点,但现有大多数文本摘要模型受限于长期依赖,忽略了注意力机制复杂度以及词序信息对文本摘要生成的影响,生成的摘要丢失关键信息,偏离原文内容与意图,影响用户体验。为了解决上述问题,提出一种基于Transformer改进的融合递归神经网络(RNN)与稀疏自注意力的文本摘要方法。首先采用窗口RNN模块,将输入文本按窗口划分,每个RNN对窗口内词序信息进行压缩,并通过窗口级别的表示整合为整个文本的表示,进而增强模型捕获局部依赖的能力;其次采用基于递归循环机制的缓存模块,循环缓存上一文本片段的信息到当前片段,允许模型更好地捕获长期依赖和全局信息;最后采用稀疏自注意力模块,通过块稀疏矩阵对注意力矩阵按块划分,关注并筛选出重要令牌对,而不是在所有令牌对上平均分配注意力,从而降低注意力的时间复杂度,提高长文本摘要任务的效率。实验结果表明,该方法在数据集text8、enwik8上的BPC分数相比于LoBART模型降低了0.02,在数据集wikitext-103以及ptb上的PPL分数相比于LoBART模型分别降低了1.0以上,验证了该方法的可行性与有效性。 展开更多
关键词 序列到序列架构 文本摘要 Transformer模型 递归神经网络 递归循环机制 稀疏注意力机制
在线阅读 下载PDF
基于注意力时间卷积神经网络的光伏功率概率预测
17
作者 李青 《太阳能学报》 北大核心 2025年第2期326-332,共7页
针对确定性光伏功率预测无法计算预测结果概率和波动范围的问题,采用改进时间卷积神经网络(TCNN)开展光伏功率概率预测。TCNN已用于各种时序预测任务,但其在输入序列很长情况下需增加卷积层来提升预测性能。在TCNN中引入稀疏注意力机制... 针对确定性光伏功率预测无法计算预测结果概率和波动范围的问题,采用改进时间卷积神经网络(TCNN)开展光伏功率概率预测。TCNN已用于各种时序预测任务,但其在输入序列很长情况下需增加卷积层来提升预测性能。在TCNN中引入稀疏注意力机制,构建注意力时间卷积神经网络(ATCNN),通过分层卷积结构提取时间依赖关系,利用稀疏注意力关注重要的时间步,构建的稀疏注意力层无需更深的架构即可扩展感受野,并使预测结果更具可解释性。在两个光伏数据集上的功率概率预测结果表明,ATCNN的预测准确性优于TCNN、时间融合解码器(TFT)等先进深度学习模型,同时对于感受野的扩展,ATCNN比TCNN需要的卷积层更少、训练速度更快,并能可视化预测过程中最重要的时间步。同卷积层情况下,ATCNN比TCNN的点预测损失小15.7%,概率预测损失小15.9%。 展开更多
关键词 光伏功率 预测 时间卷积网络 稀疏注意力机制 可解释性
在线阅读 下载PDF
基于稀疏注意力的孪生网络目标跟踪算法
18
作者 陈志旺 杨天宇 +2 位作者 曹索航 吕昌昊 彭勇 《控制与决策》 EI CSCD 北大核心 2024年第12期4017-4026,共10页
利用改进的Inception-Resnet-V2(IRV2)网络和局部-全局-局部(local-global-local,LGL)模块设计一种结合CNN和Transformer编码结构的孪生网络SiamLGL(siamese local-global-local network)用于目标跟踪.首先,算法特征提取部分采用改进后... 利用改进的Inception-Resnet-V2(IRV2)网络和局部-全局-局部(local-global-local,LGL)模块设计一种结合CNN和Transformer编码结构的孪生网络SiamLGL(siamese local-global-local network)用于目标跟踪.首先,算法特征提取部分采用改进后的IRV2网络,由于网络的层数更深,图片经过IRV2网络提取的特征较浅层网络提取的特征效果更优,特征融合部分采用深度互相关将特征图上的信息进行融合;其次,融合后的特征图利用LGL模块获取目标的全局和局部信息,模块内部采用两个编码器串联,第1个编码器利用深度可分离卷积获取目标的局部信息,第2个编码器利用自注意力获取图片的全局特征,为了降低自注意力结构的时间复杂度,采用稀疏注意力的方式进行计算,在降低时间复杂度的同时保证网络的精度;最后将特征图输入至分类回归网络中,生成对应的目标位置,其中分类网络采用二元交叉熵损失函数,回归网络采用Distance-IoU(DIoU)作为损失函数.算法在GOT-10k、LaSOT、TrackingNet、UAV123、OTB100和VOT2019等6个公开数据集上进行实验评估,结果验证了算法的有效性. 展开更多
关键词 目标跟踪 孪生网络 Inception-Resnet-V2网络 稀疏注意力 Distance-IoU损失
原文传递
基于双向长短期记忆网络与稀疏自注意力的票据文本识别方法
19
作者 冯宪伟 姚炜 《传感技术学报》 CAS CSCD 北大核心 2024年第11期1946-1951,共6页
提出了一种基于双向长短期记忆网络(BiLSTM)与稀疏自注意力机制的票据文本识别方法。针对票据文本识别中面临的复杂布局、多变字体及背景噪声干扰等挑战,采用深度卷积神经网络进行预处理,准确提取文本区域,并将图像数据转换为序列数据... 提出了一种基于双向长短期记忆网络(BiLSTM)与稀疏自注意力机制的票据文本识别方法。针对票据文本识别中面临的复杂布局、多变字体及背景噪声干扰等挑战,采用深度卷积神经网络进行预处理,准确提取文本区域,并将图像数据转换为序列数据输入到BiLSTM模型中。BiLSTM通过其双向结构,能够同时捕捉文本序列中的前向和后向信息,有效提高了文本理解的准确性。为了进一步提升识别性能,引入了稀疏自注意力机制,通过计算序列中不同位置之间的相关性得分,形成稀疏的注意力矩阵,从而捕捉文本中的长距离依赖关系。这种机制不仅降低了计算复杂度,还提高了模型对关键信息的关注度。实验结果表明,所提出的票据文本识别方法在处理复杂票据文本时表现出色,具有较高的识别精度和效率。与传统方法相比,所提方法能够更好地适应票据文本的多样性和复杂性,并在实际应用中展现出良好的鲁棒性和泛化能力。 展开更多
关键词 稀疏注意力机制 双向长短期记忆网络 票据文本识别 光学字符识别
在线阅读 下载PDF
基于概率稀疏自注意力的航空发动机剩余寿命预测 被引量:1
20
作者 王欣 黄佳琪 许雅玺 《科学技术与工程》 北大核心 2024年第6期2424-2433,共10页
航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Atten... 航空发动机剩余寿命预测对其健康管理具有重要意义,针对长序列、多维度的航空发动机监测参数,提出一种基于概率稀疏自注意力(ProbSparse Self-Attention)的Transformer模型以实现航空发动机剩余寿命的准确预测。用ProbSparse Self-Attention取代原始Transformer中的常规自注意力机制,使得模型更关注时间序列中重要的时间节点,大幅缩减时间维度,减小了时间和空间复杂度;通过注意力层整合后的信息,进一步通过前馈神经网络层和卷积层,提取传感器的空间特征,编码层之间通过扩张因果卷积相连接,扩大了感受野,提高了模型对长序列信息的捕获能力。在新公开的N-CMAPSS数据集上验证算法,实验结果表明,相比于实验中的对比模型,所提模型的RMSE和Score值均有提升,推理速度也优于其他模型。 展开更多
关键词 概率稀疏注意力 剩余寿命预测 航空发动机 TRANSFORMER 深度学习
在线阅读 下载PDF
上一页 1 2 4 下一页 到第
使用帮助 返回顶部