工程现场环境复杂,获取包含丰富信息的图像难度大且标注成本高,造成基于计算机视觉的深度学习施工机械图像数据集构建困难。为满足快速、高质量构建建筑工程领域施工机械深度学习图像数据集,提出一种基于三维建模引擎的施工机械图像生...工程现场环境复杂,获取包含丰富信息的图像难度大且标注成本高,造成基于计算机视觉的深度学习施工机械图像数据集构建困难。为满足快速、高质量构建建筑工程领域施工机械深度学习图像数据集,提出一种基于三维建模引擎的施工机械图像生成与自动标注方法,并以挖掘机为例构建了名为SCED(Synthesized Construction Equipment Dataset)的挖掘机数据集。首先,采用三维建模引擎UE4对目标挖掘机设备进行模型构建,然后借助UnrealCV工具对原始模型进行多角度、多区域的图像采集,使用自编写模块实现自动语义分割与掩码图像生成,并完成图像的自动标注,最终生成包含10 000张图像的数据集。与现有公开机械数据集进行了目标尺寸、数量与构建工作量的对比,并比较了构建效率与成本,最后进行了图像数据集质量与效果验证。结果表明:该构建方法综合效率更高且成本更低,构建的SCED图像数据集丰富性和泛化能力更好,针对小目标物具有更好的检测效果;研究成果可为今后建筑施工领域深度学习图像数据集的构建提供参考依据。展开更多
基金Supported by the National Key R&D Program of China (2018YFE0105000, 2018YFB1305304)the Shanghai Municipal Science and Technology Major Project under grant (2021SHZDZX0100)the Shanghai Municipal Commission of Science and Technology (1951113210, 19511132101)
文摘工程现场环境复杂,获取包含丰富信息的图像难度大且标注成本高,造成基于计算机视觉的深度学习施工机械图像数据集构建困难。为满足快速、高质量构建建筑工程领域施工机械深度学习图像数据集,提出一种基于三维建模引擎的施工机械图像生成与自动标注方法,并以挖掘机为例构建了名为SCED(Synthesized Construction Equipment Dataset)的挖掘机数据集。首先,采用三维建模引擎UE4对目标挖掘机设备进行模型构建,然后借助UnrealCV工具对原始模型进行多角度、多区域的图像采集,使用自编写模块实现自动语义分割与掩码图像生成,并完成图像的自动标注,最终生成包含10 000张图像的数据集。与现有公开机械数据集进行了目标尺寸、数量与构建工作量的对比,并比较了构建效率与成本,最后进行了图像数据集质量与效果验证。结果表明:该构建方法综合效率更高且成本更低,构建的SCED图像数据集丰富性和泛化能力更好,针对小目标物具有更好的检测效果;研究成果可为今后建筑施工领域深度学习图像数据集的构建提供参考依据。
