联合线性引导与网格优化的混凝土裂缝分割

1

作者 刘光辉 陈健 +1 位作者 孟月波 徐胜军 《光学精密工程》 EI CAS CSCD 北大核心 2024年第2期286-300,共15页

针对混凝土表面裂缝分割过程中分割精度低、细微裂缝漏分和背景干扰等问题,提出一种联合线性引导和网格优化的裂缝分割模型。首先,在主干网络中引入多分支线性引导模块,通过自适应单维度池化增强网络对裂缝线性结构的表达能力,让不同区... 针对混凝土表面裂缝分割过程中分割精度低、细微裂缝漏分和背景干扰等问题,提出一种联合线性引导和网格优化的裂缝分割模型。首先,在主干网络中引入多分支线性引导模块,通过自适应单维度池化增强网络对裂缝线性结构的表达能力,让不同区域的裂缝建立联系,增强全局上下文信息感知能力,提高网络分割精度;然后,提出网格细节优化模块,通过分区-优化-合并三步骤,将整个空间域划分为若干个空间网格,提取空间网格中的细微裂缝信息,防止细微裂缝漏分;最后,在主干网络的跳跃连接处嵌入混合注意力模块,在空间和通道双维度突出裂缝特征,减少背景干扰。在Deepcrack537,Crack500和CFD裂缝数据集上,所提模型的IoU值分别达到77.07%,58.96%和56.55%,F1-score值分别达到87.05%,74.19%和72.24%,明显优于大多数现有方法,具有更高的分割精度。 展开更多

关键词 裂缝图像 线性引导 语义分割 网格优化 注意力机制

在线阅读 下载PDF 职称材料

基于区域信息聚合的轻量化人群计数方法

2

作者 席志国 刘光辉 《高技术通讯》 CAS 北大核心 2024年第9期945-959,共15页

针对高密人群图像中细节信息丢失、背景噪声易与人群特征混淆以及网络模型复杂度高等问题,本文提出一种基于区域信息聚合的轻量化人群计数方法。首先,为获取高密图像中细粒度化的多尺度特征,设计了基于通道激活的多尺度特征提取模块,此... 针对高密人群图像中细节信息丢失、背景噪声易与人群特征混淆以及网络模型复杂度高等问题,本文提出一种基于区域信息聚合的轻量化人群计数方法。首先,为获取高密图像中细粒度化的多尺度特征,设计了基于通道激活的多尺度特征提取模块,此模块通过引入Ghost卷积构建了层间分级类残差连接结构,同时对每级特征辅以通道激活,以轻量化的方式实现了网络感受野的逐级扩张。其次,提出一种自注意力区域信息聚合模块获取不同尺度区域的特征信息,该模块通过轻量级自注意力机制分别从通道和空间维度集成区域信息,增强对人群特征的关注,从而弱化背景噪声对计数的影响。最后,考虑到原始计数损失收敛过程中的不稳定性,在DM-Count损失的基础上引入一种新型计数损失,提高了模型稳定性和计数敏感性,进一步提升了计数性能。在Shanghai Tech、UCFQNRF、JHU-CROWD++以及NWPU-Crowd这4个公开数据集的实验结果表明,本文所提方法对比其他主流轻量级人群计数方法有一定的提升,且模型参数量保持在较低水平。 展开更多

关键词 人群计数 区域信息聚合 轻量化 自注意力 损失函数

在线阅读 下载PDF 职称材料

融合分形几何特征Resnet遥感图像建筑物分割 被引量：7

3

作者 徐胜军 张若暄 +2 位作者 孟月波 刘光辉 韩九强 《光学精密工程》 EI CAS CSCD 北大核心 2022年第16期2006-2020,共15页

针对遥感图像建筑物易受背景中道路、树木、阴影干扰而导致分割边界不清晰的问题,提出了一种融合分形几何特征的Resnet网络。所提模型基于编码-解码框架,以Resnet网络为主干网络,在编码阶段中引入融合分形先验的空洞空间金字塔池化模块(... 针对遥感图像建筑物易受背景中道路、树木、阴影干扰而导致分割边界不清晰的问题,提出了一种融合分形几何特征的Resnet网络。所提模型基于编码-解码框架,以Resnet网络为主干网络,在编码阶段中引入融合分形先验的空洞空间金字塔池化模块(FD-ASPP),利用分形维数捕获遥感图像的分形特征,增强了Resnet网络的几何特征描述能力。解码阶段提出一种深度可分离卷积注意力融合机制(DSCAF),有效融合高层次特征和低层次特征,获取更加丰富的遥感图像语义信息和位置细节信息。在WHU遥感图像数据集上的实验表明,精确率达到0.9448,召回率达到0.9462,F1分数达到0.9455,平均交并比mIoU达到0.9415。所提模型与FCN、Segnet、Deeplab V3、U-net、SETR和AlignSeg等现有建筑物遥感语义分割模型相比,具有更好的分割精度,有效克服了道路、树木、阴影等因素的干扰,得到了较清晰的建筑物边界。 展开更多

关键词 遥感图像 建筑物分割 残差网络 分形维数 特征融合

在线阅读 下载PDF 职称材料

位姿约束下的双向扩展机械臂路径规划方法 被引量：2

4

作者 刘光辉 高嘉豪 +2 位作者 孟月波 徐胜军 韩九强 《计算机集成制造系统》 EI CSCD 北大核心 2024年第7期2389-2405,共17页

针对机械臂路径规划方法存在的规划效率低、连杆通过性差、路径粗糙等问题,以渐进最优快速随机搜索树RRT*为基础,提出一种位姿约束下的双向扩展机械臂路径规划方法(PCO-BT-RRT*)。首先,设计目标偏置引导的双向扩展RRT*算法(BT-RRT*),改... 针对机械臂路径规划方法存在的规划效率低、连杆通过性差、路径粗糙等问题,以渐进最优快速随机搜索树RRT*为基础,提出一种位姿约束下的双向扩展机械臂路径规划方法(PCO-BT-RRT*)。首先,设计目标偏置引导的双向扩展RRT*算法(BT-RRT*),改进了RRT*算法的初始化过程,将起始点和目标点分别作为两棵随机树的初始节点,并通过目标偏置策略引导其以一定概率相向生长,加快探索未知区域,在保证路径代价较低的同时提升路径生成速度。其次,提出一种位姿约束路径优化策略(PCO),采用机械臂运动学模型和碰撞检测规则共同约束新节点扩展过程,寻找机械臂可达空间内的避障路径;对生成路径剪枝剔冗,缩短可行路径长度,同时对消冗节点以迭代调整的方式进行平滑优化,提高路径生成质量。通过仿真实验分析,验证了所提方法在路径规划问题上的显著性成效;在自主研发的BIM信息融合下建筑砌筑系统进行真机避障测试,验证了该方法的实用性。 展开更多

关键词 机械臂路径规划 RRT*算法 双向扩展 位姿约束 路径平滑

在线阅读 下载PDF 职称材料

结合实例分割与抓取筛选的堆叠目标抓取方法 被引量：1

5

作者 刘光辉 宋鑫 +1 位作者 孟月波 徐胜军 《小型微型计算机系统》 CSCD 北大核心 2024年第7期1648-1655,共8页

为了在种类多样、位姿随机、背景散乱的堆叠场景下得到机器人抓取目标物体的最优次序与抓取位姿,本文提出一种结合实例分割与抓取筛选的堆叠目标抓取方法,包含抓取次序推理与抓取位姿检测两部分.抓取次序推理部分,首先设计基于自注意力... 为了在种类多样、位姿随机、背景散乱的堆叠场景下得到机器人抓取目标物体的最优次序与抓取位姿,本文提出一种结合实例分割与抓取筛选的堆叠目标抓取方法,包含抓取次序推理与抓取位姿检测两部分.抓取次序推理部分,首先设计基于自注意力与边界细化的实例分割网络,利用自注意力模块提升特征提取能力,并通过边界细化模块提高堆叠场景下物体边界的分割精度;其次提出一种抓取筛选方法,运用判断物体间完整掩码是否重叠与优先抓取分数排序的策略,筛选出目标最上层未被遮挡的物体为待抓取目标,以减少机器人多余抓取动作.抓取位姿检测部分,为适应不同尺度物体的检测,设计融合多尺度密集残差模块的抓取位姿检测网络,以保留物体的多尺度特征,从而适应不同尺度物体的检测.实验结果表明,本方法能够有效推理出堆叠场景下的抓取次序,并准确检测出物体的位姿,以实现目标的抓取. 展开更多

关键词 机器视觉 机器人抓取 抓取次序推理 图像分割 位姿检测

在线阅读 下载PDF 职称材料

目标区域引导的RRT^(*)机械臂路径规划算法 被引量：1

6

作者 孟月波 张子炜 +2 位作者 吴磊 刘光辉 徐胜军 《计算机科学与探索》 CSCD 北大核心 2024年第9期2407-2421,共15页

针对传统RRT^(*)算法在机械臂路径规划的过程中存在规划效率低、路径质量不佳、机械臂位姿不当等问题,提出一种目标区域引导的RRT^(*)机械臂路径规划算法(TA-RRT^(*))。在传统RRT^(*)算法基础上,引入目标偏向策略并使用球形子集约束采样... 针对传统RRT^(*)算法在机械臂路径规划的过程中存在规划效率低、路径质量不佳、机械臂位姿不当等问题,提出一种目标区域引导的RRT^(*)机械臂路径规划算法(TA-RRT^(*))。在传统RRT^(*)算法基础上,引入目标偏向策略并使用球形子集约束采样,缩小采样范围并使新节点朝向目标点扩展,增强目标导向性;对新节点采用直连策略,让算法可以更快地收敛从而提升路径生成速度。对初始规划路径去除冗余点并使用三次B样条曲线转换成平滑路径,优化了路径质量。对机械臂进行位姿约束,通过机械臂逆运动学判断机械臂连杆位姿可达性,并利用包络盒模型判断机械臂是否与障碍物碰撞。实验结果表明,在二维以及三维场景下,TA-RRT^(*)算法在采样次数、规划时间、路径长度以及平滑度等方面的性能均优于RRT^(*)算法,验证了该方法的正确性及可行性。机械臂仿真实验以及在真实环境下的测试结果显示,加入位姿约束后机械臂运行规划好的轨迹时,机械臂各个关节在运行规划路径的过程中并未与障碍物发生碰撞且具有良好的稳定性。 展开更多

关键词 RRT^(*)算法 机械臂路径规划 目标区域引导 三次B样条曲线

在线阅读 下载PDF 职称材料

GCN引导模型视点的光学遥感道路提取网络

7

作者 刘光辉 单哲 +3 位作者 杨塬海 王恒 孟月波 徐胜军 《光学精密工程》 EI CAS CSCD 北大核心 2024年第10期1552-1566,共15页

在光学遥感图像中,道路易受遮挡物、铺装材料以及周围环境等多重因素的影响,导致其特征模糊不清。然而,现有道路提取方法即使增强其特征感知能力,仍在特征模糊区域存在大量误判。为解决上述问题,本文提出基于GCN引导模型视点的道路提取... 在光学遥感图像中,道路易受遮挡物、铺装材料以及周围环境等多重因素的影响,导致其特征模糊不清。然而,现有道路提取方法即使增强其特征感知能力,仍在特征模糊区域存在大量误判。为解决上述问题,本文提出基于GCN引导模型视点的道路提取网络(RGGVNet)。RGGVNet采用编解码结构,并设计基于GCN的视点引导模块(GVPG)在编解码器的连接处反复引导模型视点,从而增强对特征模糊区域的关注。GVPG利用GCN信息传播过程具有平均特征权重的特性,将特征图中不同区域道路显著性水平作为拉普拉斯矩阵,参与到GCN信息传播从而实现引导模型视点。同时,提出密集引导视点策略(DGVS),采用密集连接的方式将编码器、GVPG和解码器相互连接,确保有效引导模型视点的同时缓解优化困难。在解码阶段设计多分辨率特征融合(MRFF)模块,最小化不同尺度道路特征在特征融合和上采样过程中的信息偏移和损失。在两个公开遥感道路数据集中,本文方法IoU分别达到65.84%和69.36%,F1-score分别达到79.40%和81.90%。从定量和定性两方面实验结果可以看出,本文所提方法性能优于其他主流方法。 展开更多

关键词 光学遥感图像 道路提取 深度神经网络 图卷积网络

在线阅读 下载PDF 职称材料

基于双频域特征聚合的低照度图像增强 被引量：7

8

作者 徐胜军 杨华 +3 位作者 李明海 刘光辉 孟月波 韩九强 《光电工程》 CAS CSCD 北大核心 2023年第12期28-44,共17页

针对低照度图像质量较差、噪声多、纹理模糊等问题,提出一种基于双频域特征聚合的低照度增强网络(dual frequency-domain feature aggregation network,DF-DFANet)。首先,构建频谱光照估计模块(frequency domain illumination estimatio... 针对低照度图像质量较差、噪声多、纹理模糊等问题,提出一种基于双频域特征聚合的低照度增强网络(dual frequency-domain feature aggregation network,DF-DFANet)。首先,构建频谱光照估计模块(frequency domain illumination estimation module,FDIEM)实现跨域特征提取,通过共轭对称约束调整频域特征图抑制噪声信号,并采用逐层融合方式提高多尺度融合效率以扩大特征图感受野范围。其次,设计多谱双注意力模块(multiple spectral attention module,MSAM)聚焦图像局部频率特征,通过小波域空间、通道注意力机制关注图像细节信息。最后,提出双域特征聚合模块(dual domain feature aggregation module,DDFAM)融合傅里叶域和小波域特征信息,利用激活函数计算自适应调整权重实现像素级图像增强,并结合傅里叶域全局信息提高融合效果。实验结果表明,在LOL数据集上所提网络的PSNR达到24.3714,SSIM达到0.8937。与对比网络相比,所提网络增强效果更具自然性。 展开更多

关键词 深度学习 图像增强 傅里叶变换 小波变换 双域融合 注意力机制

在线阅读 下载PDF 职称材料

一种编解码结构的车牌图像超分辨率网络 被引量：6

9

作者 徐胜军 邓博文 +3 位作者 史亚 孟月波 刘光辉 韩九强 《西安交通大学学报》 EI CAS CSCD 北大核心 2022年第10期101-110,共10页

针对复杂实际场景中模糊、污损、扭曲、倾斜等车牌图像关键信息缺失以及新能源车牌背景与字符对比度低难以识别的问题,提出了一种编解码结构的车牌图像超分辨率网络。首先,构建一种基于编解码结构的车牌重构生成器网络,利用编码器对车... 针对复杂实际场景中模糊、污损、扭曲、倾斜等车牌图像关键信息缺失以及新能源车牌背景与字符对比度低难以识别的问题,提出了一种编解码结构的车牌图像超分辨率网络。首先,构建一种基于编解码结构的车牌重构生成器网络,利用编码器对车牌图像的纹理、字符等特征进行提取,解码器对车牌特征进行重构;然后,设计一种基于语义监督的判别器网络,在网络损失中引入了对抗损失与CTC(connectionist temporal classification)损失,增强生成器网络对车牌图像语义特征的表征能力;最后,基于VGG16网络提取车牌顶角点特征,利用坐标变换方法对车牌图像进行矫正,进一步提高重构清晰度与识别准确率。采用所提网络在自建XAUAT-Parking数据集和公开CCPD数据集上进行超分辨率重构与识别实验,结果表明:所提网络在CCPD数据集上的平均峰值信噪比可达25.5 dB,结构相似性(SSIM)可达0.989;在XAUAT-Parking数据集上峰值信噪比可达26.6 dB,结构相似性可达0.997。研究结果表明,该网络有较好的车牌图像超分辨率重建效果,而且对车牌关键信息缺失问题具有较强的鲁棒性。 展开更多

关键词 车牌图像 超分辨率 图像矫正 VGG16网络 编解码结构 生成对抗网络

在线阅读 下载PDF 职称材料

多尺度区域注意力InfoGAN车牌识别网络 被引量：1

10

作者 徐胜军 杜淼 +2 位作者 段中兴 李明海 韩九强 《西安交通大学学报》 EI CAS CSCD 北大核心 2023年第8期206-218,共13页

针对车牌图像倾斜、遮挡、失真、模糊导致车牌图像难以识别的问题,提出一种多尺度区域注意力InfoGAN车牌识别网络。基于InfoGAN框架提出一种多尺度区域注意力车牌超分辨率模块,通过引入颜色分布、字符结构特征的互信息约束,提升网络不... 针对车牌图像倾斜、遮挡、失真、模糊导致车牌图像难以识别的问题,提出一种多尺度区域注意力InfoGAN车牌识别网络。基于InfoGAN框架提出一种多尺度区域注意力车牌超分辨率模块,通过引入颜色分布、字符结构特征的互信息约束,提升网络不同特征维度上的判别能力,重构失真、模糊的低分辨率车牌图像中的关键字符特征;在无车牌字符位置标签信息的情况下,使用多尺度区域注意力机制对车牌全局特征图中的车牌字符和背景解耦合,渐进式地对不同尺度特征图进行不同区域加权,提高网络对字符区域显著性的关注能力和背景噪声区域的抗干扰能力;提出多尺度语义车牌字符特征提取模块,对重构后车牌图像中字符特征解码并识别。在自建XAUAT-Parking数据集和公开CCPD数据集上进行车牌识别准确率实验,实验结果表明:所提网络在CCPD公开车牌数据集上的平均识别准确率为99.3%,在自建XAUAT-Parking数据集上的平均识别准确率为99.2%。所提网络在复杂场景下具有准确的车牌识别效果和较强的鲁棒性。 展开更多

关键词 车牌识别 注意力机制 超分辨率 生成对抗网络

在线阅读 下载PDF 职称材料

多尺度显著特征双线注意力细粒度分类方法 被引量：1

11

作者 刘光辉 占华 +2 位作者 孟月波 王博 王博 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2023年第11期1683-1691,共9页

针对细粒度图像分类任务中存在的区分性特征太过细微难以捕捉、无法有效地定位感兴趣的区域等问题,提出一种多尺度显著特征双线注意力分类方法.首先设计区域显著特征增强模块,通过区域切片操作放大并捕获细微可区分特征,增强特征图表达... 针对细粒度图像分类任务中存在的区分性特征太过细微难以捕捉、无法有效地定位感兴趣的区域等问题,提出一种多尺度显著特征双线注意力分类方法.首先设计区域显著特征增强模块,通过区域切片操作放大并捕获细微可区分特征,增强特征图表达能力;然后提出多分支双线注意力池化策略,以弱监督方式层次化表征对象的显著部位特征,提高不同尺度局部信息的关注能力;最后利用反事实学习思想量化注意力质量,将真实的注意力和无关注意力对最终预测结果的差异作为衡量指标,通过差异最大化迫使双线注意力池化策略学习更有效特征.在CUB-200-2011,Stanford Cars和Stanford Dogs这3个公开数据集上,所提方法的准确率分别达到89.3%,95.0%和87.6%,相比其他方法的性能有较大幅度的提升. 展开更多

关键词 细粒度图像分类 感兴趣区域 显著特征 双线注意力 反事实学习

在线阅读 下载PDF 职称材料

复杂构件装配数字孪生建模及系统实现 被引量：3

12

作者 张博 孟月波 +1 位作者 刘光辉 徐胜军 《现代制造工程》 CSCD 北大核心 2023年第9期36-44,60,共10页

针对复杂构件装配生产过程中虚实交互困难、装配效率低等问题,提出一种面向复杂构件装配的数字孪生模型建模方法。首先设计了复杂构件装配数字孪生系统架构,然后从几何模型、工艺模型、行为逻辑模型和约束规则模型4个维度构建了复杂构... 针对复杂构件装配生产过程中虚实交互困难、装配效率低等问题,提出一种面向复杂构件装配的数字孪生模型建模方法。首先设计了复杂构件装配数字孪生系统架构,然后从几何模型、工艺模型、行为逻辑模型和约束规则模型4个维度构建了复杂构件装配数字孪生虚拟模型,实现了对复杂构件装配物理实体全面真实地刻画与描述。设计并开发了复杂构件装配数字孪生系统,以鲁班锁装配为实例验证了建模方法的有效性,为复杂构件的装配提供了解决方案。 展开更多

关键词 数字孪生 复杂构件装配 建模 系统 仿真

在线阅读 下载PDF 职称材料

特征引导的多模态聚合低光环境行为识别方法

13

作者 刘光辉 王秦蒙 +2 位作者 孟月波 陈廷廷 张娅琳 《控制与决策》 EI CSCD 北大核心 2024年第7期2305-2314,共10页

诸如夜间等低光场景下的行为识别对于安防、自动驾驶等领域具有重要意义,针对现有方法在低光环境下识别效果不佳、鲁棒性较差等问题,提出一种基于特征引导的多模态聚合低光环境行为识别方法(MALNFG).首先,设计分层骨架特征融合网络(HSFI... 诸如夜间等低光场景下的行为识别对于安防、自动驾驶等领域具有重要意义,针对现有方法在低光环境下识别效果不佳、鲁棒性较差等问题,提出一种基于特征引导的多模态聚合低光环境行为识别方法(MALNFG).首先,设计分层骨架特征融合网络(HSFIE),利用光照增强算法提升低光场景的骨架提取能力,采用层次化时空特征融合策略获取侧重于人体行为本身表达的动作特征,改善低光场景下因骨架缺失造成的精度下降问题;其次,设计高效表观特征提取模块(EAFEM),采用零参数时间位移模块在2D特征提取网络上高效捕捉包含丰富场景信息的时空特征;接着,设计特征引导多模态聚合网络(MNF),利用特征引导策略执行骨架特征与RGB表观特征的深层信息交互,实现行为特征的全面性表征;最后,采用全连接层进行特征分类,完成行为识别.实验结果表明,所提出方法可以较好地适用于低光环境下的人体行为识别任务. 展开更多

关键词 行为识别 低光场景 多模态聚合 特征引导 光照增强

原文传递

基于上下文聚合策略的轻量级编/解码抓取位姿检测 被引量：3

14

作者 徐胜军 任君琳 +2 位作者 刘光辉 孟月波 韩九强 《机器人》 EI CSCD 北大核心 2023年第6期641-654,共14页

针对多样性目标在非结构化环境中的抓取位姿难以估计的问题,提出一种基于上下文聚合策略的轻量级编/解码抓取位姿检测网络。首先,以编/解码网络架构为基础,利用深度可分离卷积层与混洗单元构建目标特征深度分离-融合提取块,减少编码网... 针对多样性目标在非结构化环境中的抓取位姿难以估计的问题,提出一种基于上下文聚合策略的轻量级编/解码抓取位姿检测网络。首先,以编/解码网络架构为基础,利用深度可分离卷积层与混洗单元构建目标特征深度分离-融合提取块,减少编码网络参数量,增强网络对抓取区域特征的提取能力;其次,利用双线性插值法和深度可分离卷积层建立深度分离-重构块,在恢复高层特征丢失信息的同时,有效减少解码网络的参数量;最后,针对可抓取区域像素点与目标物体全貌之间的非一致性问题,基于交叉熵辅助损失和自注意力机制,提出一种抓取区域上下文聚合策略,引导网络增强可抓取目标区域特征的表征能力,抑制非抓取像素点的冗余特征。实验结果表明,所提网络在Cornell数据集的图像拆分与对象拆分子集上抓取检测准确率分别可达97.8%与93.8%,单张图像检测速度可达64.93张/秒;在Jacquard数据集上抓取检测准确率可达95.1%,单张图像检测速度可达60.6张/秒。与对比网络相比,所提网络不仅计算量与参数量较小,而且抓取检测的准确率与速度均有明显提升,在真实场景下对9种物体的抓取检测验证中,抓取成功率达到93.3%。 展开更多

关键词 非结构化环境 编/解码网络 上下文聚合 轻量级 抓取位姿

原文传递