IEEE-TRO 2022 年傅京孙最佳论文: Kimera-Multi

作者：高斯求

来源：3DCV

在前几天伦敦的ICRA[1]会议上，宣布了Transactions on Robotics 2022 傅京孙最佳论文（ 2022 IEEE Transactions on Robotics King-Sun Fu Memorial Best Paper Award）为MIT Luca Carlone教授领导的SPARK LAB实验室的工作，Kimera-Multi: Robust, Distributed, Dense Metric-Semantic SLAM for Multi-Robot Systems。

在公众号「3D视觉工坊」后台回复「原论文」，可获取对应论文pdf文件。

Kimera-Multi[3]是一个分布式多机器人SLAM系统，每个机器人使用Kimera独立的建立度量语义地图，当一个机器人可以和其他机器人进行通讯时，它们可以共享地图数据建立全局一致性地图；该工作代码已经开源（https://github.com/MIT-SPARK/Kimera-Multi）。

据IEEE Spectrum文章[2] 描述，Kimera-Multi在IEEE-TRO 2022超过200篇中，经过审稿人和编辑投票后最终获选最佳论文荣誉；现任IEEE-TRO总主编，美国西北大学Kevin Lynch教授表示：TRO的编委们和审稿人对Kimera-Multi 的优雅理论表示、相关性实践性以及开源代码留下了深刻的印象，Kimera-Multi是现在分布式多机器人SLAM的黄金标准！原文如下：

The editorial board, and the reviewers, were deeply impressed by the theoretical elegance and practical relevance of this paper and the open-source code that accompanies it. Kimera-Multi is now the gold standard for distributed multirobot SLAM. —Kevin Lynch, editor in chief, IEEE Transactions on Robotics

此外，还宣布了IEEE-TRO 2022年度 傅京孙最佳论文荣誉奖（King-Sun Fu Best Paper Award Honorable Mention）的相关工作如下：

• Stabilization of Complementarity Systems via Contact-Aware Controllers, 宾大

• Autonomous Cave Surveying With an Aerial Robot, CMU

• Prehensile Manipulation Planning: Modeling, Algorithms and Implementation, 法国图卢兹大学

• Rock-and-Walk Manipulation: Object Locomotion by Passive Rolling Dynamics and Periodic Active Control, 港科

• Origami-Inspired Soft Actuators for Stimulus Perception and Crawling Robot Applications, 上海大学

Kimera: an Open-Source Library for Real-Time Metric-Semantic Localization and Mapping

在介绍Kimera-Multi之前，先简要介绍一下Kimera-Multi先前的工作Kimera[4]；Kimera是Luca组在ICRA2020上发表的工作，Kimera是一个度量语义SLAM系统，该系统输入为双目+IMU的数据，能够在CPU上实时的重建场景3Dmesh和语义标签；目前kimera的引用已经超过300。

Kimera采用了模块化设计，主要包含三个模块：Kimera-VIO&Mesher，Kimera-RPGO，Kimera-Semantics，每个模块可以单独运行，并且开源了相关的C++库代码（https://github.com/MIT-SPARK/Kimera）。

• Kimera-VIO&Mesher：主要包含VIO模块和mesh重建；

• Kimera-RPGO：提供鲁棒的位姿图优化，包括优化和回环检测；

• Kimera-Semantics：在重建的mesh的基础上提供3D语义标签信息。

另外，在ICRA2020的论文Metric-Semantic Mapping基础上，作者参考了2019 ICCV上的一份3D scene graph工作[5]的思想，在原本kimera上增加了3D Dynamic Scene Graph实现了High level Understanding，该工作“3D dynamic scene graphs: Actionable spatial perception with places, objects, and humans”[6]发表在RSS 2020上，随后扩充并以“Kimera: From SLAM to spatial perception with 3D dynamic scene graphs”[7]的标题发布在IJRR 2021上。

这里3D dynamic scene graphs的实现主要是在Kimera度量语义的mesh地图上增加了四层，实现了一个五层的分层图：

• 第一层Metric-Semantic Mesh：类似于Kimera的Metric-Semantic Mesh输出，增加了行人的检测和动态分割；

• 第二层Objects and Agents：这里对于不同的Objects和Agents有着不同的操作；对行人重建mesh，并且输出的其位姿轨迹；对于Objects，这里分为形状已知的Objects和形状未知的Objects，对于形状未知的使用Euclidean clustering去重建整个物体bbox，形状已知的Objects使用CAD模型代替；

• 第三层Places and Structures：提取场景的high-level understanding的结构；

• 第四层Rooms：使用了ESDF的表示；

• 第五层Buildings：最高层，代表整个场景。

这后续的工作中，作者将该框架命名为Hydra[8]，相关代码已开源（https://github.com/MIT-SPARK/Hydra）；Hydra相比RSS2020的文章“3D dynamic scene graphs: Actionable spatial perception with places, objects, and humans”，主要贡献是定义了 分层的描述方式（hierarchical descriptors）来实现回环检测。

Hydra的期刊版本为“Foundations of Spatial Perception for Robotics: Hierarchical Representations and Real-time Systems”[10]，投稿到了IJRR上。

Kimera-Multi: Robust, Distributed, Dense Metric-Semantic SLAM for Multi-Robot Systems

Kimera-Multi是一个分布式多机器人协同SLAM系统，对于每个单独的机器人，它们通过视觉惯性传感器使用Kimera的Kimera-VIO和 Kimera-Semantics两个模块分别估计各自的局部位姿和局部mesh，当两个机器人可以互相通讯时，初始化基于分布式渐进式非凸性算法（distributed graduated nonconvexity algorithm）的分布式位置识别检测和位姿图优化功能，通过机器人之间的闭环检测实现对outliers的鲁棒，最后提高位姿估计的准确性和mesh重建的精度。

Kimera-Multi的核心算法流程是：分布式回环检测，分布式的轨迹优化 以及最后的 局部mesh地图优化；

• 分布式回环检测：当机器人之间可以互相通讯时，机器人会发送自上次通讯始到当前的所有关键帧的全局描述子，将描述子转换为BoW向量后进行关键帧内搜索匹配，匹配成功后计算两关键帧的相对变换关系；

• 分布式的轨迹优化：轨迹优化部分主要是使用PGO解决outliers的问题，这里作者基于GNC提出了一种分布式鲁棒轨迹估计方法，让代价函数从凸近似（convex approximation ）开始逐渐到非凸，从而避免伪解；

• 局部mesh地图优化：这里主要是利用上面分部署PGO的回环检测，实现对每个机器人mesh地图的优化；这里作者提出了一种提出了一种基于变形图（deformation graphs）的mesh优化方法。

Kimera-Multi在仿真数据集和真实场景中的效果；Kimera-Multi最终实现的效果如下：

• 1.在完全分布式的情况下提供了鲁棒和准确的轨迹估计；

• 2.与kimera相比提供了3D Meshs度量语义估计的准确性；

• 3.通讯效率的显著提升。

Kimera-Multi是2019年挂在arXiv上的，属于较早的工作，在Kimera-Multi之后是Luca组将多机器人协同SLAM系统的场景理解和3D Dynamic Scene Graph结合，又有了今年的一篇工作“Hydra-Multi: Collaborative Online Construction of 3D Scene Graphs with Multi-Robot Teams”。

Reference

• [1]ICRA 2023: https://www.icra2023.org/

• [2] [IEEE Spectrum]MIT Multirobot Mapping Sets New “Gold Standard” IEEE conference award-winner turns SLAM into collaborative prize hunt：https://spectrum.ieee.org/multi-robot-slam-icra2023

• [3]Kimera-Multi: Robust, Distributed, Dense Metric-Semantic SLAM for Multi-Robot Systems, TRO, 2022

• [4]Kimera: an open-source library for real-time metric-semantic localization and mapping, ICRA, 2020

• [5]3D scene graph: A structure for unified semantics, ICCV, 2019

• [6]3D dynamic scene graphs: Actionable spatial perception with places, objects, and humans, RSS, 2020

• [7]Kimera: From SLAM to spatial perception with 3D dynamic scene graphs, IJRR, 2021

• [8]Hydra: A Real-time Spatial Perception System for 3D Scene Graph Construction and Optimization, RSS, 2022

• [9]Hydra-Multi: Collaborative Online Construction of 3D Scene Graphs with Multi-Robot Teams, arXiv, 2023

• [10]Foundations of Spatial Perception for Robotics: Hierarchical Representations and Real-time Systems, arXiv, 2023

添加小助理微信：dddvisiona,备注：学校/公司+SLAM， 将拉你加入「SLAM」技术交流群