水工机械装备(如闸门、拦污栅等)长期服役于水域环境,其结构表面会不可避免地产生锈蚀。对于重要的关键受力结构件,如果不能准确检测其锈蚀的严重程度,会导致其维修加固不及时,进而直接威胁受损结构周围人员的生命安全。目前,对水工机...水工机械装备(如闸门、拦污栅等)长期服役于水域环境,其结构表面会不可避免地产生锈蚀。对于重要的关键受力结构件,如果不能准确检测其锈蚀的严重程度,会导致其维修加固不及时,进而直接威胁受损结构周围人员的生命安全。目前,对水工机械装备锈蚀特征识别主要以人工目视检测为主,容易导致视觉疲劳、主观性较强、锈蚀程度的检测准确率不高等问题。为此,本文提出以VGG-16(visual geometry group,VGG)网络为基础、融合注意力机制和双线性池化的锈蚀等级评估方法。首先,利用RGB(red green and blue)和HSV(hue saturation and value)两种色彩空间中不同分量包含锈蚀图像特征不同的特点,将不同色彩空间作为不同支路网络的输入,使其能够充分利用不同色彩空间的图像特征;其次,在两个支路网络中嵌入注意力机制,通过注意力机制的可训练权重对锈蚀图像的特征进行重标定,调整权重,聚焦于最相关的特征进行学习;再次,采用双线性池化融合不同支路提取的特征,使网络聚焦于最相关的细粒度图像特征,提高网络模型对锈蚀图像细微差异特征的利用;最后,通过盐雾锈蚀实验获取锈蚀图像数据,并在数据集上对本文方法进行消融和对比分析。结果表明,相较于原模型及其他主流算法,改进后模型的分类准确率达到了0.953,精确率、召回率、F1系数等评价指标均有大幅提升,本文方法对于不规则锈蚀图像特征能够取得更好的评估效果,可以转化应用于工程实践。展开更多
【目的】智能虫情测报灯诱捕到的农业害虫因种类繁多、虫体姿态多样、鳞片脱落等原因造成有些害虫图像存在种间相似和种内差异的现象。为了提高农业灯诱害虫识别率,针对YOLOv4检测模型检测到且容易混淆的19种灯诱害虫,本文提出了基于双...【目的】智能虫情测报灯诱捕到的农业害虫因种类繁多、虫体姿态多样、鳞片脱落等原因造成有些害虫图像存在种间相似和种内差异的现象。为了提高农业灯诱害虫识别率,针对YOLOv4检测模型检测到且容易混淆的19种灯诱害虫,本文提出了基于双线性注意力网络的农业灯诱害虫细粒度图像识别模型。【方法】首先,根据灯诱害虫外观图像的相似性和检测误检的情况,将19种害虫分为6类;将所有害虫图像通过补边操作使得长宽相等,并缩放至统一尺寸224×224像素。为了提高模型的鲁棒性和泛化能力,对害虫图像进行镜像翻转、旋转180度、高斯噪声和均值滤波的数据增强,训练集、验证集和测试集样本量按照8﹕1﹕1比例划分。然后,针对6类19种农业灯诱害虫细粒度图像,建立了基于双线性注意力网络的农业灯诱害虫识别模型(bilinear-attention pest net,BAPest-net),模型包括双线性特征提取、注意力机制和分类识别3个模块;通过修改特征提取模块的下采样方式提高特征提取能力;添加注意力机制模块让整个模型更关注于局部细节的特征,将双线性结构中的上下两个注意力机制的输出进行外积运算增加细粒度特征的权重,提高识别的准确性和学习效率;模型优化器使用随机梯度下降法SGD,分类模块中使用全局平均池化,旨在对整个网络从结构上做正则化防止过拟合。最后,在同一个训练集训练VGG19、Densenet、ResNet50、BCNN和BAPest-net 5个模型,对6类相似的19种农业灯诱害虫进行识别,以精准率、Precision-Recall(PR)曲线和平均识别率作为模型的评价指标。【结果】BAPest-net对6类相似的19种农业灯诱害虫平均识别率最高,达到94.9%;BCNN次之,为90.2%;VGG19模型最低,为82.1%。BAPest-net识别的6类害虫中4类鳞翅目害虫的平均识别率均大于95%,表明该模型能较好地识别出鳞翅目害虫。测试结果中仍存在少数相似度较高的害虫误判,特别当害虫腹部朝上或侧身,种类特征不够明显的时候容易引起相似害虫的误判。对于区分度较低的相似害虫需要更多的训练样本以获取更多的特征,提高模型的识别率和泛化能力。【结论】基于双线性注意力网络的农业灯诱害虫细粒度图像识别模型可以自动识别6类相似的19种农业灯诱害虫,提高了农业灯诱害虫自动识别的准确率。展开更多
文摘水工机械装备(如闸门、拦污栅等)长期服役于水域环境,其结构表面会不可避免地产生锈蚀。对于重要的关键受力结构件,如果不能准确检测其锈蚀的严重程度,会导致其维修加固不及时,进而直接威胁受损结构周围人员的生命安全。目前,对水工机械装备锈蚀特征识别主要以人工目视检测为主,容易导致视觉疲劳、主观性较强、锈蚀程度的检测准确率不高等问题。为此,本文提出以VGG-16(visual geometry group,VGG)网络为基础、融合注意力机制和双线性池化的锈蚀等级评估方法。首先,利用RGB(red green and blue)和HSV(hue saturation and value)两种色彩空间中不同分量包含锈蚀图像特征不同的特点,将不同色彩空间作为不同支路网络的输入,使其能够充分利用不同色彩空间的图像特征;其次,在两个支路网络中嵌入注意力机制,通过注意力机制的可训练权重对锈蚀图像的特征进行重标定,调整权重,聚焦于最相关的特征进行学习;再次,采用双线性池化融合不同支路提取的特征,使网络聚焦于最相关的细粒度图像特征,提高网络模型对锈蚀图像细微差异特征的利用;最后,通过盐雾锈蚀实验获取锈蚀图像数据,并在数据集上对本文方法进行消融和对比分析。结果表明,相较于原模型及其他主流算法,改进后模型的分类准确率达到了0.953,精确率、召回率、F1系数等评价指标均有大幅提升,本文方法对于不规则锈蚀图像特征能够取得更好的评估效果,可以转化应用于工程实践。
文摘【目的】智能虫情测报灯诱捕到的农业害虫因种类繁多、虫体姿态多样、鳞片脱落等原因造成有些害虫图像存在种间相似和种内差异的现象。为了提高农业灯诱害虫识别率,针对YOLOv4检测模型检测到且容易混淆的19种灯诱害虫,本文提出了基于双线性注意力网络的农业灯诱害虫细粒度图像识别模型。【方法】首先,根据灯诱害虫外观图像的相似性和检测误检的情况,将19种害虫分为6类;将所有害虫图像通过补边操作使得长宽相等,并缩放至统一尺寸224×224像素。为了提高模型的鲁棒性和泛化能力,对害虫图像进行镜像翻转、旋转180度、高斯噪声和均值滤波的数据增强,训练集、验证集和测试集样本量按照8﹕1﹕1比例划分。然后,针对6类19种农业灯诱害虫细粒度图像,建立了基于双线性注意力网络的农业灯诱害虫识别模型(bilinear-attention pest net,BAPest-net),模型包括双线性特征提取、注意力机制和分类识别3个模块;通过修改特征提取模块的下采样方式提高特征提取能力;添加注意力机制模块让整个模型更关注于局部细节的特征,将双线性结构中的上下两个注意力机制的输出进行外积运算增加细粒度特征的权重,提高识别的准确性和学习效率;模型优化器使用随机梯度下降法SGD,分类模块中使用全局平均池化,旨在对整个网络从结构上做正则化防止过拟合。最后,在同一个训练集训练VGG19、Densenet、ResNet50、BCNN和BAPest-net 5个模型,对6类相似的19种农业灯诱害虫进行识别,以精准率、Precision-Recall(PR)曲线和平均识别率作为模型的评价指标。【结果】BAPest-net对6类相似的19种农业灯诱害虫平均识别率最高,达到94.9%;BCNN次之,为90.2%;VGG19模型最低,为82.1%。BAPest-net识别的6类害虫中4类鳞翅目害虫的平均识别率均大于95%,表明该模型能较好地识别出鳞翅目害虫。测试结果中仍存在少数相似度较高的害虫误判,特别当害虫腹部朝上或侧身,种类特征不够明显的时候容易引起相似害虫的误判。对于区分度较低的相似害虫需要更多的训练样本以获取更多的特征,提高模型的识别率和泛化能力。【结论】基于双线性注意力网络的农业灯诱害虫细粒度图像识别模型可以自动识别6类相似的19种农业灯诱害虫,提高了农业灯诱害虫自动识别的准确率。
