留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于具有墙角信息的语义地图改进AMCL重定位算法

蒋林 聂文康 朱建阳 刘奇 田体先 李峻

蒋林, 聂文康, 朱建阳, 刘奇, 田体先, 李峻. 基于具有墙角信息的语义地图改进AMCL重定位算法[J]. 机械工程学报, 2022, 58(24): 312-323. doi: 10.3901/JME.2022.24.312
引用本文: 蒋林, 聂文康, 朱建阳, 刘奇, 田体先, 李峻. 基于具有墙角信息的语义地图改进AMCL重定位算法[J]. 机械工程学报, 2022, 58(24): 312-323. doi: 10.3901/JME.2022.24.312
JIANG Lin, NIE Wenkang, ZHU Jianyang, LIU Qi, TIAN Tixian, LI Jun. Improved AMCL Relocation Algorithm based on Semantic Map with Corner Information[J]. JOURNAL OF MECHANICAL ENGINEERING, 2022, 58(24): 312-323. doi: 10.3901/JME.2022.24.312
Citation: JIANG Lin, NIE Wenkang, ZHU Jianyang, LIU Qi, TIAN Tixian, LI Jun. Improved AMCL Relocation Algorithm based on Semantic Map with Corner Information[J]. JOURNAL OF MECHANICAL ENGINEERING, 2022, 58(24): 312-323. doi: 10.3901/JME.2022.24.312

基于具有墙角信息的语义地图改进AMCL重定位算法

doi: 10.3901/JME.2022.24.312
基金项目: 

国家重点研发计划 2019YFB1310000

武汉市应用基础前沿项目 2019010701011404

湖北省重点研发计划 2020BAB098

国家自然科学基金 51874217

详细信息
    作者简介:

    蒋林,男,1976年出生,博士,教授,博士研究生导师。主要研究方向为室内移动机器人地图构建、定位、导航。E-mail:jianglin76@wust.edu.cn

    聂文康,男,1996年出生,硕士研究生。主要研究方向为室内移动机器人语义地图构建、物体检测识别。E-mail:1797537258@qq.com

    刘奇,男,1996年出生,硕士研究生。主要研究方向为室内移动机器人物体识别、语义地图构建。E-mail:liuqi_xl@163.com

    田体先,男,1985年出生,博士,讲师,硕士研究生导师。主要研究方向为并联机构设计与控制、电液伺服仿真与试验技术。E-mail:tiantixian@163.com

    李峻,男,1997年出生,硕士研究生。主要研究方向为室内移动机器人地图构建、导航。E-mail:lijun_mce@163.com

    通讯作者:

    朱建阳(通信作者),男,1981年出生,博士,副教授,博士研究生导师。主要研究方向为仿生机器人,低速风/水能源捕获技术等。E-mail:zhujy@wust.edu.cn

  • 中图分类号: TP249

Improved AMCL Relocation Algorithm based on Semantic Map with Corner Information

  • 摘要: 针对原始自适应蒙特卡洛定位(Adaptive monte carlo localization,AMCL)算法仅利用激光信息存在的缺陷,提出一种基于激光与视觉融合的语义地图进行全局定位,该语义地图融合基于深度学习的目标检测方法提取环境中的墙角语义;利用建立的包含墙角信息的二维语义栅格地图,结合视觉预定位方法及角点周围语义信息表来提高算法全局初始定位的效率和准确性,使得移动机器人可以在少量先验信息和运动的情况下更迅速地实现定位。提出视觉预定位的方法,改进了粒子权重更新方式,再同步结合AMCL算法与环境地图匹配进行精定位。最后通过搭建的移动机器人在不同场景下进行对比试验,验证了该方法的有效性。

     

    针对原始自适应蒙特卡洛定位(adaptive monte carlo localization,AMCL)算法仅利用激光信息存在的缺陷,提出一种基于激光与视觉融合的语义地图进行全局定位,该语义地图融合基于深度学习的目标检测方法提取环境中的墙角语义;利用建立的包含墙角信息的二维语义栅格地图,结合视觉预定位方法及角点周围语义信息表来提高算法全局初始定位的效率和准确性,使得移动机器人可以在少量先验信息和运动的情况下更迅速地实现定位。提出视觉预定位的方法,改进了粒子权重更新方式,再同步结合AMCL算法与环境地图匹配进行精定位。最后通过搭建的移动机器人在不同场景下进行对比试验,验证了该方法的有效性。
  • 图  AMCL算法粒子收敛失败结果图

    图  激光地图及障碍物似然图

    图  加载环境语义地图

    图  角点周围语义信息图

    图  物体识别检测图

    图  识别物GrabCut算法分割图

    图  物体语义提取

    图  筛选角点图

    图  语义预定位图

    图  10  机器人偏航角示意图

    图  11  改进AMCL算法流程图

    图  12  移动机器人

    图  13  试验环境及结果图

    图  14  两种方法粒子均权重对比图

    图  15  相似试验环境地图

    图  16  AMCL定位粒子收敛图

    图  17  文中改进定位方法粒子收敛图

    图  18  定位过程中视觉预定位示意图

    图  19  环境有变化的试验场景

    图  20  AMCL算法环境改变后定位过程图

    图  21  文中改进定位方法粒子收敛图

    图  22  定位过程中视觉预定位示意图

    表  1  角点周围语义查找表

    角点 椅子 垃圾桶 柜子 d1/m d2/m d3/m d4/m
    0 1 1 2 0 0.42 1.10 1.44
    1.57
    0 1 0 0 0 1.14 0 0
    1 0 1 2 2.8 0 0.92 1.46
    1.63
    下载: 导出CSV
  • [1] 邢志伟, 朱晓蕊, 何超. 基于行人行为学习的机器人同时定位与可通行区域制图[J]. 机械工程学报, 2019, 55(11): 36-45. doi: 10.3901/JME.2019.11.036

    XING Zhiwei, ZHU Xiaorui, HE Chao. Simultaneous localization and traversable region mapping based on pedestrian behavior learning[J]. Journal of Mechanical Engineering, 2019, 55(11): 36-45. doi: 10.3901/JME.2019.11.036
    [2] 罗元, 庞冬雪, 张毅, 等. 基于自适应多提议分布粒子滤波的蒙特卡洛定位算法[J]. 计算机应用, 2016, 36(8): 2352-2356. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY201608055.htm

    LUO Yuan, PANG Dongxue, ZHANG Yi, et al. Monte carlo localization algorithm based on particle filter with adaptive multi-proposal distribution[J]. Journal of Computer Applications, 2016, 36(8): 2352-2356. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY201608055.htm
    [3] DELLAERT F, FOX D, BURGARD W, THRUN S. Monte Carlo localization for mobile robots[C]// Proceedings of the 1999 IEEE International Conference on Robotics and Automation, May 10-15, 1999, Detroit, USA, 1999 : 1322-1328.
    [4] ZHANG L, ZAPATA R, LEPINAY P. Self-adaptive monte carlo localization for mobile robots using range finders[J]. Robotica, 2012, 30(2): 229-244. doi: 10.1017/S0263574711000567
    [5] HANTEN R, BUCK S, OTTE S, et al. Vector-AMCL: Vector based adaptive monte carlo localization for indoor maps[C]//14th International Conference on Intelligent Autonomous Systems, July 3-7, 2016. Shanghai, China, 2016: 403-416.
    [6] CHOI J, MAURER M. Hybrid map-based SLAM with rao-black wellized particle filters[C]// 17th International Conference on Information Fusion, July 7-10, 2014, Salamanca, Spain, 2014 : 1-6.
    [7] PARK S, ROH K S. Coarse-to-fine localization for a mobile robot based on place learning with a 2D range scan[J]. IEEE Transactions on Robotics, 2016(3): 1-17.
    [8] 胡章芳, 曾林全, 罗元, 等. 融入二维码信息的自适应蒙特卡洛定位算法[J]. 计算机应用, 2019, 39(4): 989-993. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY201904010.htm

    HU Zhangfan, ZENG Linquan, LUO Yuan, et al. Adaptive monte-carlo localization algorithm integrated with two-dimensional code information[J]. Journal of Computer Applications, 2019, 39(4): 989-993. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY201904010.htm
    [9] 郑文磊, 程磊, 余秋月, 等. 基于自适应观测模型的移动机器人室内蒙特卡洛动态定位系统研究[J]. 高技术通讯, 2017, 27(Z1): 848-855. https://www.cnki.com.cn/Article/CJFDTOTAL-GJSX2017Z1010.htm

    ZHENG Wenlei, CHENG Lei, YU Qiuyue, et al. Research on an indoor monte carlo dynamic positioning system for mobile robots based on adaptive observation model[J]. High Technology Letters, 2017, 27(Z1): 848-855. https://www.cnki.com.cn/Article/CJFDTOTAL-GJSX2017Z1010.htm
    [10] 刘洞波, 刘国荣, 喻妙华, 等. 一种基于图像检索的机器人自定位方法[J]. 传感技术学报, 2010, 23(4): 548-552. https://www.cnki.com.cn/Article/CJFDTOTAL-CGJS201004022.htm

    LIU Dongbo, LIU Guorong, YU Miaohua, et al. A robot self-localization method based oil image retrieval system[J]. Chinese Journal of Sensors and Actuators, 2010, 23(4): 548-552. https://www.cnki.com.cn/Article/CJFDTOTAL-CGJS201004022.htm
    [11] 贾云辉. 基于ROS系统的移动机器人室内定位方法研究[D]. 天津: 天津理工大学, 2019.

    JIA Yunhui. Research on indoor location method of mobile robot based on ROS system[D]. Tianjin: Tianjin University of Technology, 2019.
    [12] 肖亚龙, 张士庚, 王建新. 一种基于多维标度和区域细化的无线室内定位方法[J]. 计算机学报, 2017, 40(8): 1918-1932. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJX201708013.htm

    XIAO Yalong, ZHANG Shigeng, WANG Jianxin. An indoor localization algorithm based on multidi-mensional scaling and region refinement[J]. Chinese Journal of Computers, 2017, 40(8): 1918-1932. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJX201708013.htm
    [13] XIAO Linhui, WANG Jinge, QIU Xiaosong, et al. Dynamic-SLAM: Semantic monocular visual localization and mapping based on deep learning in dynamic environment[J]. Robotics and Autonomous Systems, 2019, 117: 1-16.
    [14] 房立金, 刘博, 万应才. 基于深度学习的动态场景语义SLAM[J]. 华中科技大学学报, 2020, 48(1): 121-126. https://www.cnki.com.cn/Article/CJFDTOTAL-HZLG202001022.htm

    FANG Lijin, LIU Bo, WAN Yingcai. Semantic SLAM based on deep learning in dynamic scenes[J]. Journal of Huazhong University of Science and Technology, 2020, 48(1): 121-126. https://www.cnki.com.cn/Article/CJFDTOTAL-HZLG202001022.htm
    [15] 席志红, 韩双全, 王洪旭. 基于语义分割的室内动态场景同步定位与语义建图[J]. 计算机应用, 2019, 39(10): 2847-2851. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY201910010.htm

    XI Zhihong, HAN Shuangquan, WANG Hongxu. Simultaneous localization and semantic mapping of indoor dynamic scene based on semantic segmentation[J]. Journal of Computer Applications, 2019, 39(10): 2847-2851. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY201910010.htm
    [16] 张威. 基于物体语义信息的室内视觉SLAM研究[D]. 济南: 山东大学, 2019.

    ZHANG Wei. Indoor visual SLAM based on object semantic information[D]. Jinan: Shandong University, 2019.
    [17] CAI Lecai, YE Yuling, GAO Xiang, et al. An improved visual SLAM based on affine transformation for ORB feature extraction[J]. Optik - International Journal for Light and Electron Optics, 2021, 227: 1-15.
    [18] 杨爽, 曾碧, 何炜婷. 融合语义激光与地标信息的SLAM技术研究[J]. 计算机工程与应用, 2020, 56(18): 262-271. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202018038.htm

    YANG Shuang, ZENG Bi, HE Weiting. Research on SLAM technology combining semantic laser and landmark information[J]. Computer Engineering and Applications, 2020, 56(18): 262-271. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202018038.htm
    [19] 魏乐麒. 基于环境语义信息的SLAM算法研究与实现[D]. 西安: 西安电子科技大学, 2018.

    WEI Leqi. A study and implementation of SLAM system algorithm based on semantic messages[D]. Xi'an: Xidian University, 2018.
    [20] ZHANG Chen, WANG Mei, YU Yunlei, et al. SLAM system based on tightly coupled visual-inertial[J]. Journal of Physics Conference Series, 2020, 1576(1): 1-7.
    [21] 蒋林, 向超, 朱建阳, 等. 加载语义似然估计的粒子滤波重定位[J]. 电子学报, 2021, 49(2): 315-323. https://www.cnki.com.cn/Article/CJFDTOTAL-DZXU202102013.htm

    JIANG Lin, XIANG Chao, ZHU Jianyang, et al. Particle filter relocation with semantic likelihood estimation[J]. Acta Electronica Sinica, 2021, 49(2): 315-323. https://www.cnki.com.cn/Article/CJFDTOTAL-DZXU202102013.htm
  • 加载中
图(23) / 表(1)
计量
  • 文章访问数:  49
  • HTML全文浏览量:  13
  • PDF下载量:  0
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-03-10
  • 修回日期:  2022-10-23
  • 网络出版日期:  2024-03-07
  • 刊出日期:  2022-12-20

目录

    /

    返回文章
    返回