针对动态物体严重干扰同时定位与建图(SLAM)系统正常运行的问题,提出一种基于目标检测和特征点关联的动态视觉SLAM算法。首先,利用YOLOv5目标检测网络得到环境中潜在动态物体的信息,并基于简易目标跟踪对图像漏检进行补偿;其次,为解决...针对动态物体严重干扰同时定位与建图(SLAM)系统正常运行的问题,提出一种基于目标检测和特征点关联的动态视觉SLAM算法。首先,利用YOLOv5目标检测网络得到环境中潜在动态物体的信息,并基于简易目标跟踪对图像漏检进行补偿;其次,为解决单一特征点的几何约束方法易出现误判的问题,依据图像的位置信息和光流信息建立特征点关联,再结合极线约束判断关系网的动态性;再次,结合两种方法剔除图像中的动态特征点,并用剩余的静态特征点加权估计位姿;最后,对静态环境建立稠密点云地图。在TUM(Technical University of Munich)公开数据集上的对比和消融实验的结果表明,与ORB-SLAM2和DS-SLAM(Dynamic Semantic SLAM)相比,所提算法在高动态场景下的绝对轨迹误差(ATE)中的均方根误差(RMSE)分别至少降低了95.22%和5.61%。可见,所提算法在保证实时性的同时提高了准确性和鲁棒性。展开更多
针对光线强度对机器人视觉同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)建图信息量、时效性和鲁棒性影响大的问题,提出一种基于激光雷达(Light Detection And Ranging,LiDAR)增强的视觉SLAM多机器人协作地图构建方...针对光线强度对机器人视觉同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)建图信息量、时效性和鲁棒性影响大的问题,提出一种基于激光雷达(Light Detection And Ranging,LiDAR)增强的视觉SLAM多机器人协作地图构建方法。在地图构建过程中,将LiDAR深度测量值集成到现有的特征点检测和特征描述子同步定位与地图构建(Oriented FAST and Rotated BRIEF-Simultaneous Localization and Mapping,ORB-SLAM3)算法中,利用改进的扩展卡尔曼滤波算法将激光雷达的高精度数据和视觉传感器的时序信息融合在一起,获得单个机器人的位姿状态,结合深度图进行单个机器人稠密点云地图的构建;利用关键帧跟踪模型和迭代最近点(Iterative Closest Point,ICP)算法得到存在共识关系的机器人之间的坐标转换关系,进而得到各机器人的世界坐标系,在世界坐标系中实现多机器人协作地图的融合与构建。在Gazebo仿真平台中实验验证了方法的时效性和鲁棒性。展开更多
为了提高室内动态场景下定位与建图的准确性与实时性,提出了一种基于目标检测的室内动态场景同步定位与建图(simultaneous localization and mapping,SLAM)系统。利用目标检测的实时性,在传统ORB_SLAM2算法上结合YOLOv5目标检测网络识...为了提高室内动态场景下定位与建图的准确性与实时性,提出了一种基于目标检测的室内动态场景同步定位与建图(simultaneous localization and mapping,SLAM)系统。利用目标检测的实时性,在传统ORB_SLAM2算法上结合YOLOv5目标检测网络识别相机图像中的动态物体,生成动态识别框,根据动态特征点判别方法只将识别框内动态物体上的ORB特征点去除,利用剩余特征点进行相机位姿的估计,最后建立只含静态物体的稠密点云地图与八叉树地图。同时在机器人操作系统(robot operating system,ROS)下进行仿真,采用套接字(Socket)通信方式代替ROS中话题通信方式,将ORB_SLAM2算法与YOLOv5目标检测网络相结合,以提高定位与建图的实时性。在TUM数据集上进行多次实验结果表明,与ORB_SLAM2系统相比,本文系统相机位姿精确度大幅度提高,并且提高了每帧跟踪的处理速度。展开更多
视觉同步定位与建图(VSLAM)技术常常用于室内机器人的导航与感知,然而VSLAM的位姿估算方法是针对静态环境的,当场景中存在运动对象时,可能会导致定位和建图失败。针对此问题,提出了一个结合实例分割与聚类的VSLAM系统。所提系统使用实...视觉同步定位与建图(VSLAM)技术常常用于室内机器人的导航与感知,然而VSLAM的位姿估算方法是针对静态环境的,当场景中存在运动对象时,可能会导致定位和建图失败。针对此问题,提出了一个结合实例分割与聚类的VSLAM系统。所提系统使用实例分割网络生成场景中动态对象的概率掩膜,同时利用多视图几何的方法检测场景中的动态点,并将检测到的动态点与获得的概率掩膜匹配之后确定动态物体的精确动态掩膜;利用动态掩膜删除动态物体的特征点,然后利用剩余的静态特征点准确估计摄像机的位置。为了解决实例分割网络欠分割的问题,采用深度填充算法和聚类算法保证动态特征点完全删除。最后,重建图片被动态物体遮挡的背景,在正确的相机位姿下建立静态稠密点云地图。在公开的TUM(Technical University of Munich)数据集上的实验结果表明,在动态环境中,所提系统在保证实时性的同时能实现鲁棒的定位与建图。展开更多
室内动态场景下的同步定位与地图构建(simultaneous localization and mapping,SLAM)系统容易受到运动障碍物的影响,从而导致其位姿估计精度和视觉里程计的稳定性降低。本文提出一种基于YOLOv4目标检测网络的视觉SLAM算法,获取语义信息...室内动态场景下的同步定位与地图构建(simultaneous localization and mapping,SLAM)系统容易受到运动障碍物的影响,从而导致其位姿估计精度和视觉里程计的稳定性降低。本文提出一种基于YOLOv4目标检测网络的视觉SLAM算法,获取语义信息,并利用LK光流法判断动态特征,在传统的ORB-SLAM2系统上将动态特征点剔除,只使用静态特征点来估计相机的位姿;建立稠密点云地图,并转化成节约内存空间的八叉树地图。在TUM公开数据集上对该方法进行测试和评估,实验结果表明:在动态环境下,该系统与ORB-SLAM2相比,相机位姿估计精度提高83%,且减少了生成的环境地图的存储空间,为后续实现机器人导航具有重要意义。展开更多
家居机器人技术一般应用视觉同步定位与建图(SLAM,Simultaneous Localization and Mapping)来实现定位与构建导航地图,如何实现视觉SLAM系统快速准确定位和构建丰富环境信息的地图已经成为视觉SLAM研究的热点问题。本文将光流法与关键...家居机器人技术一般应用视觉同步定位与建图(SLAM,Simultaneous Localization and Mapping)来实现定位与构建导航地图,如何实现视觉SLAM系统快速准确定位和构建丰富环境信息的地图已经成为视觉SLAM研究的热点问题。本文将光流法与关键点结合,加快视觉SLAM的数据处理速度,并添加稠密点云地图和八叉树地图构建线程来获取环境信息,实现一个较为优秀的视觉SLAM系统。在公开数据集上进行的定位实验表明,该视觉SLAM系统在绝对轨迹误差和相对位姿误差上与ORB-SLAM2系统保持基本一致,并且在其中几项数据中具有更小的误差结果,整体系统对图像的处理速度约为40 FPS(Frames Per Second),是ORB-SLAM2系统的1.4倍左右,说明该系统在提高系统速度的基础上保持了较高的准确度。展开更多
针对目前同步定位与建图(Simultaneous Localization and Mapping,SLAM)算法在静态环境中表现良好,但在动态环境中容易出现鲁棒性和相机定位精度不足的问题。作者引入基于深度学习的语义信息到SLAM算法中,并提出了资源受限场景下的一种...针对目前同步定位与建图(Simultaneous Localization and Mapping,SLAM)算法在静态环境中表现良好,但在动态环境中容易出现鲁棒性和相机定位精度不足的问题。作者引入基于深度学习的语义信息到SLAM算法中,并提出了资源受限场景下的一种基于目标检测网络的动态视觉SLAM算法Dyna-ORBSLAM3。算法有4个主要线程:语义线程、跟踪线程、局部建图线程、回环检测与地图融合线程。在Dyna-ORBSLAM3的跟踪线程中利用了基于改进YOLOv8的目标检测网络的语义信息并融合几何信息检测去除动态特征点,避免产生错误的数据关联,最后生成不含动态目标的稠密点云地图。选取TUM数据集的动态序列进行实验,结果对比ORB-SLAM3和RDS-SLM,Dyna-ORBSLAM3的绝对轨迹均方根误差降低了84.6%和26.3%,每帧消耗时间仅需30 ms。满足SLAM算法实时运行的要求且较大提高了定位精度。展开更多
文摘针对动态物体严重干扰同时定位与建图(SLAM)系统正常运行的问题,提出一种基于目标检测和特征点关联的动态视觉SLAM算法。首先,利用YOLOv5目标检测网络得到环境中潜在动态物体的信息,并基于简易目标跟踪对图像漏检进行补偿;其次,为解决单一特征点的几何约束方法易出现误判的问题,依据图像的位置信息和光流信息建立特征点关联,再结合极线约束判断关系网的动态性;再次,结合两种方法剔除图像中的动态特征点,并用剩余的静态特征点加权估计位姿;最后,对静态环境建立稠密点云地图。在TUM(Technical University of Munich)公开数据集上的对比和消融实验的结果表明,与ORB-SLAM2和DS-SLAM(Dynamic Semantic SLAM)相比,所提算法在高动态场景下的绝对轨迹误差(ATE)中的均方根误差(RMSE)分别至少降低了95.22%和5.61%。可见,所提算法在保证实时性的同时提高了准确性和鲁棒性。
文摘针对光线强度对机器人视觉同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)建图信息量、时效性和鲁棒性影响大的问题,提出一种基于激光雷达(Light Detection And Ranging,LiDAR)增强的视觉SLAM多机器人协作地图构建方法。在地图构建过程中,将LiDAR深度测量值集成到现有的特征点检测和特征描述子同步定位与地图构建(Oriented FAST and Rotated BRIEF-Simultaneous Localization and Mapping,ORB-SLAM3)算法中,利用改进的扩展卡尔曼滤波算法将激光雷达的高精度数据和视觉传感器的时序信息融合在一起,获得单个机器人的位姿状态,结合深度图进行单个机器人稠密点云地图的构建;利用关键帧跟踪模型和迭代最近点(Iterative Closest Point,ICP)算法得到存在共识关系的机器人之间的坐标转换关系,进而得到各机器人的世界坐标系,在世界坐标系中实现多机器人协作地图的融合与构建。在Gazebo仿真平台中实验验证了方法的时效性和鲁棒性。
文摘视觉同步定位与建图(VSLAM)技术常常用于室内机器人的导航与感知,然而VSLAM的位姿估算方法是针对静态环境的,当场景中存在运动对象时,可能会导致定位和建图失败。针对此问题,提出了一个结合实例分割与聚类的VSLAM系统。所提系统使用实例分割网络生成场景中动态对象的概率掩膜,同时利用多视图几何的方法检测场景中的动态点,并将检测到的动态点与获得的概率掩膜匹配之后确定动态物体的精确动态掩膜;利用动态掩膜删除动态物体的特征点,然后利用剩余的静态特征点准确估计摄像机的位置。为了解决实例分割网络欠分割的问题,采用深度填充算法和聚类算法保证动态特征点完全删除。最后,重建图片被动态物体遮挡的背景,在正确的相机位姿下建立静态稠密点云地图。在公开的TUM(Technical University of Munich)数据集上的实验结果表明,在动态环境中,所提系统在保证实时性的同时能实现鲁棒的定位与建图。
文摘室内动态场景下的同步定位与地图构建(simultaneous localization and mapping,SLAM)系统容易受到运动障碍物的影响,从而导致其位姿估计精度和视觉里程计的稳定性降低。本文提出一种基于YOLOv4目标检测网络的视觉SLAM算法,获取语义信息,并利用LK光流法判断动态特征,在传统的ORB-SLAM2系统上将动态特征点剔除,只使用静态特征点来估计相机的位姿;建立稠密点云地图,并转化成节约内存空间的八叉树地图。在TUM公开数据集上对该方法进行测试和评估,实验结果表明:在动态环境下,该系统与ORB-SLAM2相比,相机位姿估计精度提高83%,且减少了生成的环境地图的存储空间,为后续实现机器人导航具有重要意义。
文摘家居机器人技术一般应用视觉同步定位与建图(SLAM,Simultaneous Localization and Mapping)来实现定位与构建导航地图,如何实现视觉SLAM系统快速准确定位和构建丰富环境信息的地图已经成为视觉SLAM研究的热点问题。本文将光流法与关键点结合,加快视觉SLAM的数据处理速度,并添加稠密点云地图和八叉树地图构建线程来获取环境信息,实现一个较为优秀的视觉SLAM系统。在公开数据集上进行的定位实验表明,该视觉SLAM系统在绝对轨迹误差和相对位姿误差上与ORB-SLAM2系统保持基本一致,并且在其中几项数据中具有更小的误差结果,整体系统对图像的处理速度约为40 FPS(Frames Per Second),是ORB-SLAM2系统的1.4倍左右,说明该系统在提高系统速度的基础上保持了较高的准确度。
文摘针对目前同步定位与建图(Simultaneous Localization and Mapping,SLAM)算法在静态环境中表现良好,但在动态环境中容易出现鲁棒性和相机定位精度不足的问题。作者引入基于深度学习的语义信息到SLAM算法中,并提出了资源受限场景下的一种基于目标检测网络的动态视觉SLAM算法Dyna-ORBSLAM3。算法有4个主要线程:语义线程、跟踪线程、局部建图线程、回环检测与地图融合线程。在Dyna-ORBSLAM3的跟踪线程中利用了基于改进YOLOv8的目标检测网络的语义信息并融合几何信息检测去除动态特征点,避免产生错误的数据关联,最后生成不含动态目标的稠密点云地图。选取TUM数据集的动态序列进行实验,结果对比ORB-SLAM3和RDS-SLM,Dyna-ORBSLAM3的绝对轨迹均方根误差降低了84.6%和26.3%,每帧消耗时间仅需30 ms。满足SLAM算法实时运行的要求且较大提高了定位精度。
