期刊文献+
共找到4篇文章
< 1 >
每页显示 20 50 100
基于语言-视觉对比学习的多模态视频行为识别方法 被引量:3
1
作者 张颖 张冰冰 +3 位作者 董微 安峰民 张建新 张强 《自动化学报》 EI CAS CSCD 北大核心 2024年第2期417-430,共14页
以对比语言-图像预训练(Contrastive language-image pre-training, CLIP)模型为基础,提出一种面向视频行为识别的多模态模型,该模型从视觉编码器的时序建模和行为类别语言描述的提示学习两个方面对CLIP模型进行拓展,可更好地学习多模... 以对比语言-图像预训练(Contrastive language-image pre-training, CLIP)模型为基础,提出一种面向视频行为识别的多模态模型,该模型从视觉编码器的时序建模和行为类别语言描述的提示学习两个方面对CLIP模型进行拓展,可更好地学习多模态视频表达.具体地,在视觉编码器中设计虚拟帧交互模块(Virtual-frame interaction module, VIM),首先,由视频采样帧的类别分词做线性变换得到虚拟帧分词;然后,对其进行基于时序卷积和虚拟帧分词移位的时序建模操作,有效建模视频中的时空变化信息;最后,在语言分支上设计视觉强化提示模块(Visual-reinforcement prompt module,VPM),通过注意力机制融合视觉编码器末端输出的类别分词和视觉分词所带有的视觉信息来获得经过视觉信息强化的语言表达.在4个公开视频数据集上的全监督实验和2个视频数据集上的小样本、零样本实验结果,验证了该多模态模型的有效性和泛化性. 展开更多
关键词 视频行为识别 语言-视觉对比学习 多模态模型 时序建模 提示学习
在线阅读 下载PDF
基于级联动态注意力U-Net的脑肿瘤分割方法 被引量:2
2
作者 陈柏年 韩雨童 +2 位作者 何涛 刘斌 张建新 《计算机科学》 CSCD 北大核心 2023年第S02期1019-1025,共7页
脑肿瘤是一种严重威胁人类健康的疾病,脑肿瘤精确分割在临床诊疗中非常重要。由于脑肿瘤形状大小各异、位置不固定和边界模糊等,实现高精度脑肿瘤自动分割仍是一项具有挑战性的任务。近年来,U-Net凭借其简洁的架构和优秀的性能成为解决... 脑肿瘤是一种严重威胁人类健康的疾病,脑肿瘤精确分割在临床诊疗中非常重要。由于脑肿瘤形状大小各异、位置不固定和边界模糊等,实现高精度脑肿瘤自动分割仍是一项具有挑战性的任务。近年来,U-Net凭借其简洁的架构和优秀的性能成为解决医学图像分割任务的主流模型,但其也存在局部感受野有限、空间信息丢失和未充分利用上下文信息等问题。为此,提出一种基于动态卷积和非局部注意力机制的级联U-Net新模型(CDAU-Net)用于脑肿瘤分割任务。首先,将两阶段级联三维U-Net作为主体架构,来重建更精细的高分辨率脑肿瘤空间信息;进而,在级联网络横向连接上添加期望最大化注意力,通过提高网络捕获长距离依赖能力来更好利用肿瘤上下文信息;最后,在级联网络中将普通卷积替换为具有局部自适应能力的动态卷积,可进一步增强网络局部特征捕获能力。在公开的BraTS2019-2020数据集上进行了大量实验并与其他代表性方法进行对比,实验结果表明了所提方法在脑肿瘤分割任务上的有效性。其中,在BraTS2019/2020验证集上获得的全部肿瘤、肿瘤核心和增强肿瘤分割Dice值分别为0.897/0.903,0.826/0.828和0.781/0.786,表现出了良好的脑肿瘤分割性能。 展开更多
关键词 脑肿瘤分割 U-Net 级联网络 动态卷积 期望最大化注意力
在线阅读 下载PDF
改进YOLOv5的遥感图像检测方法 被引量:16
3
作者 刘涛 丁雪妍 +1 位作者 张冰冰 张建新 《计算机工程与应用》 CSCD 北大核心 2023年第10期253-261,共9页
针对YOLOv5在遥感图像目标检测中未能考虑到遥感图像背景复杂、检测目标较小且图像中目标语义信息占比过低导致的检测效果不佳和易出现误检漏检等问题,提出了一种改进YOLOv5的遥感图像目标检测方法。将轻量级的通道注意力机制引入到原始... 针对YOLOv5在遥感图像目标检测中未能考虑到遥感图像背景复杂、检测目标较小且图像中目标语义信息占比过低导致的检测效果不佳和易出现误检漏检等问题,提出了一种改进YOLOv5的遥感图像目标检测方法。将轻量级的通道注意力机制引入到原始YOLOv5的特征提取和特征融合网络的C3模块中,以提升网络局部特征捕获与融合能力;强化对遥感图像的多尺度特征表达能力,通过增加一个融合浅层语义信息的细粒度检测层来提高对小目标的检测效果;使用Copy-Paste数据增强方法来丰富训练样本数量,在不增加模型计算量的情况下可进一步解决遥感图像背景信息占比过高而目标区域占比过低的问题。实验结果表明,改进YOLOv5在公开的DOTA和DIOR遥感图像数据集上mAP结果分别达到0.757和0.759。该方法较原始YOLOv5可提高0.017和0.059,相比于其他典型遥感目标检测方法在精度上也有所提升,证明了改进YOLOv5方法的有效性。 展开更多
关键词 YOLOv5 遥感图像 目标检测 注意力机制 数据增强
在线阅读 下载PDF
基于多尺度伪影生成对抗网络的磁共振成像脑肿瘤分割方法 被引量:2
4
作者 张睦卿 韩雨童 +1 位作者 陈柏年 张建新 《光子学报》 EI CAS CSCD 北大核心 2023年第8期194-205,共12页
针对磁共振成像脑肿瘤分割存在的肿瘤空间信息变化大与精细标注样本数量少的问题,提出一种基于多尺度伪影生成对抗网络的脑肿瘤影像分割方法。该方法采用三维U-Net模型来获取脑肿瘤分割结果并充当生成器,引入三维PatchGAN作为判别器来评... 针对磁共振成像脑肿瘤分割存在的肿瘤空间信息变化大与精细标注样本数量少的问题,提出一种基于多尺度伪影生成对抗网络的脑肿瘤影像分割方法。该方法采用三维U-Net模型来获取脑肿瘤分割结果并充当生成器,引入三维PatchGAN作为判别器来评判U-Net输出的脑肿瘤结果与真值标签,通过对抗学习方式来进行模型训练。为提升脑肿瘤分割效果,在生成器编码阶段引入伪影模块,使得在卷积过程中能够捕获到更丰富的深度特征而提升生成器的脑肿瘤生成结果;同时,在解码过程中采用多尺度特征融合方式来有效整合脑肿瘤的浅层信息与深层信息,并在对抗学习中进一步提升分割性能。在公开的BraTS2019-2020数据集上对该方法进行了评估,实验结果验证了所提出方法在脑肿瘤分割任务中的有效性,在两个验证集上获得的全肿瘤、核心肿瘤和增强肿瘤分割Dice值分别为0.902/0.903、0.836/0.826和0.77/0.782。 展开更多
关键词 脑肿瘤分割 三维U-Net 生成对抗网络 伪影特征 多尺度特征融合
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部