中文纠错任务为例的数据集增强质量评价方法

1

作者 宋程 谢振平 《计算机工程与应用》 CSCD 北大核心 2024年第3期331-339,共9页

数据增强被认为是一种有效提升模型效果的方案。但是在选取生成的数据时,需考虑固有的数据特征和相应的任务关联性。针对这一问题,以中文纠错任务场景为例,提出了一种可用于数据集增强质量的评价方法。该方法使用对比学习优化后的预训... 数据增强被认为是一种有效提升模型效果的方案。但是在选取生成的数据时,需考虑固有的数据特征和相应的任务关联性。针对这一问题,以中文纠错任务场景为例,提出了一种可用于数据集增强质量的评价方法。该方法使用对比学习优化后的预训练模型提取数据集的特征向量,提出互覆盖度、总分散度、自支撑度等三个基本评价指标,并给出一个综合性的数据集质量融合指标。在四种数据增强方法、两个中文纠错数据集和三个中文纠错模型上的实验分析结果表明,上述评价方法能够独立于测试集性能检验方法,为不同增强数据集的选用提供重要依据。 展开更多

关键词 数据集增强 机器学习 质量评价 中文纠错 深度学习

在线阅读 下载PDF 职称材料

钢板表面缺陷图像增强与自动标注方法研究

2

作者 杨璐雅 黄新波 +1 位作者 任玉成 韩琪 《机械科学与技术》 北大核心 2025年第3期445-452,共8页

数据标注为机器学习提供了大量带标签的数据,在数据集制作时需要借助各种标注工具手动对图像进行画框标注,受主观因素影响较大,且工业现场环境复杂,采集到的图像质量不稳定,也会影响标注效果。因此提出一种改进MSR(Multi-scale retinex... 数据标注为机器学习提供了大量带标签的数据,在数据集制作时需要借助各种标注工具手动对图像进行画框标注,受主观因素影响较大,且工业现场环境复杂,采集到的图像质量不稳定,也会影响标注效果。因此提出一种改进MSR(Multi-scale retinex)钢板缺陷图像数据集增强算法和基于图像分块和像素差分的自适应目标框标注算法,首先在MSR基础上提出一种自适应权值计算方法对采集到的缺陷图像进行增强,通过计算信息熵占比自动确定权值Wk,克服了传统MSR算法需要人工调整权值的缺点;然后为了解决直接对整幅图像提取目标边界计算量太大的问题,提出一种分块计算像素差分的方法,分别计算每个子块图像的均值矩阵和2阶差分矩阵,通过判别目标在各个子块的分布情况,选取合适的子块分别计算矩形框的4个边界,代替人工画框辅助数据集的标注,并采用Faster R-CNN和YOLOv5进行缺陷检测验证。结果表明:提出算法的平均IoU为0.87,平均检测时间为457 ms,在公开数据集上的平均IoU和检测时间分别为0.84和473 ms,性能均优于其他方法,基于提出算法Faster R-CNN和YOLOv5的检测准确率分别提升了4.8%和5.9%,可以为深度学习模型提供质量稳定的数据集。 展开更多

关键词 数据标注 深度学习 数据集增强 像素2阶差分 自适应目标框标注

在线阅读 下载PDF 职称材料

基于增强数据集卷积神经网络的SAR目标识别方法 被引量：7

3

作者 陈欣 陈明逊 《重庆理工大学学报（自然科学）》 CAS 北大核心 2020年第1期86-93,共8页

提出基于增强数据集卷积神经网络的合成孔径雷达(SAR)目标识别方法。卷积神经网络的分类能力与训练样本的数量和全面性息息相关。由于SAR目标识别中存在大量的扩展操作条件,基于原始少量训练样本的卷积神经网络稳健性较差。通过添加噪... 提出基于增强数据集卷积神经网络的合成孔径雷达(SAR)目标识别方法。卷积神经网络的分类能力与训练样本的数量和全面性息息相关。由于SAR目标识别中存在大量的扩展操作条件,基于原始少量训练样本的卷积神经网络稳健性较差。通过添加噪声构造噪声样本;通过多分辨率分析获得多分辨率的样本;通过模拟部分遮挡获得不同程度的遮挡样本。采用增强后的训练样本训练卷积神经网络从而提高其对于噪声干扰、分辨率变换以及部分遮挡等情形的稳健性。同时,由更多训练样本训练得到的网络对于其他扩展操作条件的适应性也有一定的提高。基于MSTAR数据集进行了验证实验,证明了提出方法的有效性。 展开更多

关键词 合成孔径雷达 目标识别 卷积神经网络 增强数据集

在线阅读 下载PDF 职称材料

基于改进SinGAN的电力线巡检异物数据增强技术 被引量：5

4

作者 宋立业 王诗翱 +1 位作者 刘昕明 刘卫东 《电子测量与仪器学报》 CSCD 北大核心 2021年第1期165-173,共9页

针对电力线异物识别模型能使用的数据集较少,并且传统单幅自然图像的生成式模型(SinGAN)模型生成数据与异物识别模型匹配度不高、质量不佳、耗时过久的问题,提出了改进SinGAN模型。在改进SinGAN模型基础上加入仿射变换单元、大小变换单... 针对电力线异物识别模型能使用的数据集较少,并且传统单幅自然图像的生成式模型(SinGAN)模型生成数据与异物识别模型匹配度不高、质量不佳、耗时过久的问题,提出了改进SinGAN模型。在改进SinGAN模型基础上加入仿射变换单元、大小变换单元进一步增强数据集,加入图像滤波单元提高电力线异物识别模型所需数据质量。并通过改进SinGAN反向传播训练过程和SinGAN的单精度生成器结构提升模型生成质量,减少所用时长。实验结果表明,经50次实验后,改进SinGAN的平均弗雷谢特起始距离(Fréchet inception distance, FID)为91.375,平均训练时长1.21 h。分别比传统SinGAN降低了27.247%和87.31%。改进SinGAN与其他主流生成式对抗网络相比有更好的异物数据生成能力,可以增强电力线异物识别模型所需数据,具有优越性。 展开更多

关键词 电力线巡检 异物识别 数据集增强 生成式对抗网路

在线阅读 下载PDF 职称材料

结合CatBoost算法与ARIMA模型的电池健康状态预测与优化

5

作者 马玲琦 邹海荣 李兴家 《电器与能效管理技术》 2025年第3期31-37,75,共8页

针对电池健康状况(SOH)的预测,提出一种集成分类提升(CatBoost)算法和自回归差动平均(ARIMA)模型的SOH估算方法。通过时间序列分析提取特征并获取ARIMA模型残差,将其作为额外特征经CatBoost算法处理,构建增强数据集进行预测。实验结果表... 针对电池健康状况(SOH)的预测,提出一种集成分类提升(CatBoost)算法和自回归差动平均(ARIMA)模型的SOH估算方法。通过时间序列分析提取特征并获取ARIMA模型残差,将其作为额外特征经CatBoost算法处理,构建增强数据集进行预测。实验结果表明,所提方法显著提升了预测性能,最佳均方根误差(RMSE)达到0.0046,平均绝对误差(MAE)达到0.0034,拟合度(R^(2))达到0.9994,相比仅使用初始数据的模型具有更高的准确性和稳定性。 展开更多

关键词 电池健康状态 CatBoost算法 ARIMA模型 残差 增强数据集

在线阅读 下载PDF 职称材料

基于CycleGAN和Pix2Pix的轨面缺陷图像智能生成技术 被引量：1

6

作者 陈嘉欣 孙传猛 +3 位作者 葛耀栋 李欣宇 靳书云 李勇 《铁道学报》 EI CAS CSCD 北大核心 2024年第2期122-130,共9页

为解决基于人工智能的高动态高精度轨道巡检技术的小样本学习难题,提出基于CycleGAN和Pix2Pix生成的对抗网络模型,实现小样本数据集语义特征学习和钢轨轨面缺陷数据的智能生成。其中,Pix2Pix模型生成特定类别的轨面图像;而CycleGAN模型... 为解决基于人工智能的高动态高精度轨道巡检技术的小样本学习难题,提出基于CycleGAN和Pix2Pix生成的对抗网络模型,实现小样本数据集语义特征学习和钢轨轨面缺陷数据的智能生成。其中,Pix2Pix模型生成特定类别的轨面图像;而CycleGAN模型将无缺陷轨面图像转换成有缺陷轨面图像,且缺陷样式不受定式约束。因此,在维持轨面缺陷类别不变而形态各异的基础上,实现了轨面缺陷数据集的大规模增强,解决了小样本数据集存在的数据分布不平衡、数据缺乏多样性以及数据标注难度高等难题。利用VGG19、YOLOv5和UNet进行性能测试,试验表明:生成的轨面缺陷图像增强数据集在图像分类任务中的准确率为81.177%,较原数据集增加了23.138%;在目标检测任务中,准确率为91.90%,增加了26.60%,召回率为87.20%,增加了16.00%,均值平均精度为93.50%,增加了18.30%;在语义分割任务中Dice得分为71.015,较原数据集提高6%。研究结果对解决轨道巡检技术小样本学习难题具有重要应用价值。 展开更多

关键词 轨道巡检 生成对抗网络 数据集增强 小样本学习

在线阅读 下载PDF 职称材料

基于神经网络特征线提取的飞机位姿识别方法研究

7

作者 陈长俊 唐丹 +2 位作者 杨浩 游安清 潘旭东 《强激光与粒子束》 CAS CSCD 北大核心 2024年第6期157-165,共9页

为实现复杂情况下的飞机位姿识别,提出了基于神经网络特征线提取的位姿识别新方法。该方法利用3D模型进行图像渲染,通过添加背景形成数据集,为提高算法鲁棒性进行了数据集增强。特征线提取模型采用卷积神经网络提取目标深度特征,利用热... 为实现复杂情况下的飞机位姿识别,提出了基于神经网络特征线提取的位姿识别新方法。该方法利用3D模型进行图像渲染,通过添加背景形成数据集,为提高算法鲁棒性进行了数据集增强。特征线提取模型采用卷积神经网络提取目标深度特征,利用热力图获取飞机特征线。结合飞机特征线、飞机3D模型以及n线透视方法解算目标位姿。该方法建立的飞机特征线提取模型,在复杂背景下准确率约为91%。叠加了各类噪声后,准确率为84%。飞机位姿通过EPnL算法与非线性优化进行求解。在目标背景复杂的情况下,实验得到的平均预测角度误差约为0.57°,平均预测平移误差约为0.47%。图像叠加各类噪声后,得到的平均预测角度误差约为2.11°,平均预测平移误差约为0.93%。提出的飞机位姿识别方法在复杂背景、各类噪声影响下可以较精准地预测飞机位姿,应用场景更加广泛。 展开更多

关键词 神经网络 特征线提取 位姿识别 数据集增强

在线阅读 下载PDF 职称材料

基于改进EfficientDet算法的可见光遥感舰船目标检测 被引量：3

8

作者 刘浪 刘国栋 刘佳 《现代电子技术》 2022年第22期28-32,共5页

为了有效地解决可见光遥感影像中舰船目标难检测、易错检等问题,文中提出一种基于改进EfficientDet的舰船目标检测算法E-EfficientDet。首先利用K-means++聚类算法对舰船数据集中的目标物体的长宽信息进行聚类分析,得到适合舰船目标的An... 为了有效地解决可见光遥感影像中舰船目标难检测、易错检等问题,文中提出一种基于改进EfficientDet的舰船目标检测算法E-EfficientDet。首先利用K-means++聚类算法对舰船数据集中的目标物体的长宽信息进行聚类分析,得到适合舰船目标的Anchors;然后,针对SENet模块参数量大和降维处理使特征图通道之间的依赖性减小的问题,使用ECANet模块代替EfficientNet网络中SENet模块;其次,为了解决遥感图像中相似目标对船只检测的干扰及小目标难检的问题,采用EfficientNet-B0、EfficientNetV2网络作为E-EfficientDet模型的主干特征提取网络,将获取到的特征送入到改进的BiFPN网络中进行特征融合,获取更加丰富有效的船只目标特征信息;最后,为了扩大图像的响应区域并避免骨干网络对输入图片进行特征提取时出现的信息丢失情况,利用SPPNet网络对特征图进行不同尺度的最大池化。实验结果表明,E-EfficientDet算法对文中数据检测的平均精度(AP)达到90.18%,每张图像的检测时间为0.06 s。另外,将E-EfficientDet算法与Faster RCNN、SSD、YOLOv3算法进行对比,得到所提算法的AP精度均高于其余算法,说明所提算法对实际遥感场景下舰船的检测性能较好。 展开更多

关键词 K-means++ E-EfficientDet 舰船目标检测 ECANet SPPNet 数据集增强 AP

在线阅读 下载PDF 职称材料

典型传统服饰图像的在线识别系统 被引量：2

9

作者 颜丙义 侯金 +3 位作者 黄启煜 杨汉城 田进 杨春勇 《纺织学报》 EI CAS CSCD 北大核心 2023年第5期184-190,共7页

为探索传统服饰文化的智能化保护手段和提高传统服饰文化的传播效率,以加权投票法集成多注意力机制的传统服饰识别算法为核心,构建了一个典型传统服饰图像的在线识别系统。首先,通过书籍扫描和线下拍摄等手段收集传统服饰图像数据,再联... 为探索传统服饰文化的智能化保护手段和提高传统服饰文化的传播效率,以加权投票法集成多注意力机制的传统服饰识别算法为核心,构建了一个典型传统服饰图像的在线识别系统。首先,通过书籍扫描和线下拍摄等手段收集传统服饰图像数据,再联合多背景替换和几何变换混合增强服饰图像数据,完成传统服饰图像数据集的构建。随后,采用迁移学习技术在DenseNet169网络上分别引入了通道注意力、卷积注意力和位置注意力3种机制来构建模型,并对3种模型的识别结果进行加权投票判决,实现对传统服饰图像的高精度识别。在此基础上,通过对未知待测图像进行在线裁剪和自适应等规范化预处理,提高了识别系统的泛化适应性。最后,采用Web和云计算技术实现了系统的在线识别、交互、显示和账号管理等功能集成。测试结果表明,本文实现的传统服饰识别算法在验证集上的识别准确率达到了93.5%,构建的系统能够有效地在线识别15类传统服饰图像,对传统服饰文化的传播和保护具有一定的促进作用。 展开更多

关键词 传统服饰图像 数据集增强 迁移学习 加权投票判决 在线识别系统

在线阅读 下载PDF 职称材料

基于DenseNet的唐卡图像分类 被引量：4

10

作者 曾富亮 胡文瑾 +1 位作者 何国源 薛盼盼 《现代电子技术》 2022年第6期153-157,共5页

针对DenseNet采用ReLU函数在特征传播过程中存在丢失图像的负特征问题,文中提出一种改进的DenseNet方法。首先,为了解决样本数据集少而产生的问题,采用数据增强方法中的图像翻转、旋转和随机裁剪方法来增加数据集;其次,利用Leaky ReLU... 针对DenseNet采用ReLU函数在特征传播过程中存在丢失图像的负特征问题,文中提出一种改进的DenseNet方法。首先,为了解决样本数据集少而产生的问题,采用数据增强方法中的图像翻转、旋转和随机裁剪方法来增加数据集;其次,利用Leaky ReLU函数不会丢失图像负特征的特性来代替ReLU函数,在反向传播时增加传播的负特征,并采用迁移学习的基于微调网络的技术进行训练从而防止过拟合。迁移学习是运用神经网络在大型数据集ImageNet上训练好的参数权重在小数据集上进行网络训练,再把原神经网络的全连接层改为小数据集需要的层。最后对唐卡图像进行分类。实验结果表明:改进的DenseNet取得了较好的性能,比DenseNet性能提高了1.1%;与VGG16、ResNet50和InceptionV3等其他卷积神经网络相比,改进的DenseNet对唐卡图像分类效果良好。 展开更多

关键词 唐卡图像 图像分类 DenseNet 特征提取 数据集增强 网络训练

在线阅读 下载PDF 职称材料

生成对抗网络技术与研究进展 被引量：5

11

作者 梁晨 王利斌 +1 位作者 李卓群 薛源 《信息安全研究》 2022年第3期235-240,共6页

近年来,生成对抗网络(generative adversarial networks, GANs)技术研究成果呈指数级增长,生成对抗网络使用零和博弈论将2个相互竞争的神经网络结合起来,使其能够产生更加清晰、离散的输出.在计算机视觉、医疗、金融等领域的图像和视频... 近年来,生成对抗网络(generative adversarial networks, GANs)技术研究成果呈指数级增长,生成对抗网络使用零和博弈论将2个相互竞争的神经网络结合起来,使其能够产生更加清晰、离散的输出.在计算机视觉、医疗、金融等领域的图像和视频处理及生成、数据集增强、时间序列预测等方面已取得重大进展.主要介绍了生成对抗网络的基本框架、理论以及实现过程,分析了近年来主流研究现状,通过回顾生成对抗网络变体及其应用场景列举了亟待改进的问题.此外,还着重讨论了如何采用生成对抗网络隐私措施与处理敏感数据,以及生成对抗网络技术在相关领域的未来发展趋势. 展开更多

关键词 深度学习 生成对抗网络 数据隐私保护 数据集增强 时间序列预测 差分隐私

在线阅读 下载PDF 职称材料

一种基于深度学习的交通标志识别算法 被引量：1

12

作者 孙旭升 张林 邢可 《重型汽车》 2021年第3期30-32,共3页

在无人驾驶和驾驶辅助领域,交通标志识别是非常重要的。现实道路中,许多交通标志目标较小且存在相互遮挡的问题,导致标志很难被准确检测。为了解决这一问题,文章利用深度学习网络YOLOv3模型实现对交通标志进行检测。首先,利用数据增强... 在无人驾驶和驾驶辅助领域,交通标志识别是非常重要的。现实道路中,许多交通标志目标较小且存在相互遮挡的问题,导致标志很难被准确检测。为了解决这一问题,文章利用深度学习网络YOLOv3模型实现对交通标志进行检测。首先,利用数据增强用不同的方式模拟现实天气条件对清华-腾讯交通标志集进行数据集增强,得到更为真实、丰富的标志数据集图像,然后利用YOLO v3模型对标志图像特征进行学习并检测其类别。将该算法应用于交通标志任务中的结果表明,在扩充后的TT100K数据集上,YOLOv3模型与其他检测网络相比在平均精度均值(mAP)、精确度(Precision)和召回率(Recall)等几个指标上均有一定提升。 展开更多

关键词 交通标志识别 YOLO v3算法 目标检测 数据集增强

在线阅读 下载PDF 职称材料

电容外观缺陷自动检测算法研究

13

作者 李文辉 《电脑编程技巧与维护》 2022年第8期20-22,共3页

针对目前电容器外观检测算法存在精度较低的问题,从两个方面改进SSD算法(Single Shot MultiBox Detector),提升识别精度。(1)通过轮次进阶方法改进训练过程;(2)采用图像翻转、图像裁剪、对比度增强等方法增加数据集。实验结果表明,提出... 针对目前电容器外观检测算法存在精度较低的问题,从两个方面改进SSD算法(Single Shot MultiBox Detector),提升识别精度。(1)通过轮次进阶方法改进训练过程;(2)采用图像翻转、图像裁剪、对比度增强等方法增加数据集。实验结果表明,提出的方法在特定环境下对提高检测精准度有较好作用。 展开更多

关键词 电容外观检测 SSD算法 轮次进阶 数据集增强

在线阅读 下载PDF 职称材料

基于Yolo的结直肠息肉CT影像分析算法研究 被引量：1

14

作者 代国威 晏静香 《南通职业大学学报》 2021年第4期82-87,共6页

为实现结直肠息肉的图像识别,提出改进YOLO网络结构的Yolo-polyps模型,使用深度学习实现结直肠息肉CT影像目标检测。对原始CT影像数据集增广增强,再通过改进k-means获取合适锚框,并作为Yolo-polyps模型快速获取特征的基准;对多个超参数... 为实现结直肠息肉的图像识别,提出改进YOLO网络结构的Yolo-polyps模型,使用深度学习实现结直肠息肉CT影像目标检测。对原始CT影像数据集增广增强,再通过改进k-means获取合适锚框,并作为Yolo-polyps模型快速获取特征的基准;对多个超参数进行微调,选择最优超参数,经实验验证,在较少样本下取得了94.8%的准确率;选择Yolo系列的多个算法在相同数据集进行测试,结果显示,Yolo-polyps模型识别准确率平均高出其他模型3.865%,表明该方法优于传统基于内窥镜检查的方法,对CT影像下的结直肠息肉检测有一定的辅助作用。 展开更多

关键词 YOLOv3 CT图像 结直肠息肉检测 卷积神经网络 数据集增广增强

在线阅读 下载PDF 职称材料