论文精读：Structure SLAM with points, planes and objects ...

李小白白白

Title: Structure SLAM with points, planes and objects

BibTex: （完整的BibTex）

@article{zhou2022structure,
title={Structure SLAM with points, planes and objects},
author={Zhou, Benchun and Gilles, Maximilian and Meng, Yongqi},
journal={Advanced Robotics},
volume={36},
number={20},
pages={1060--1075},
year={2022},
publisher={Taylor \& Francis}
}
Motivations:

1. 视觉SLAM系统通常使用几何特征，重建的地图缺乏语义信息
2. 现有的目标检测方法从图像中提供了丰富的场景信息
Contributions:

1. 一种3D对象检测方法，其中长方体候选从RGB图像中采样，并通过3D约束和图像约束进行评分。
2. 一种结构化SLAM系统，其中特征点、结构平面和语义对象在统一的BA框架内进行优化。
3. 一种数据关联方法，通过数学表示探索点、平面和对象之间的关系。
Background and Related Works:

1. 平面估计和点面SLAM
平面识别：深度相机的点云拟合平面或者神经网络识别图像中的平面；
平面表达：使用一组点表达平面或者n,d或者最小表达；
平面类型：结构平面或者物体表面平面或者估计弹出平面或者假设生成垂直平面
2. 3D对象检测和对象SLAM
有无先验的物体模型进行检测；QuadricSLAM，CubeSLAM，直接用DNN预测对象的尺寸和方向(泛化性较弱)
3. 点-面-对象SLAM和数据关联
点-面-对象SLAM：Hosseinzadeh等人提出了一种结构化SLAM系统，使用二次曲面和平面，其中二次曲面和平面由RGBD帧估计，在它们之间建立了支撑关系。Liao等人从深度图像中提取了平面和对象，并利用了这些地标之间的空间关系。Yang等人通过统一的BA优化，将点与对象、平面地标相结合，提出了一种单目框架。
数据关联：Li等人提出了一种基于词袋算法的对象级数据关联，同时利用对象的几何信息和外观信息。EAO-SLAM将参数统计检验与非参数统计检验相结合，可以有效地聚合对象的不同测量值，提高关联精度。
Methodology:

1. 单帧对象检测
首先对对象尺寸和方向进行采样，生成候选长方体，然后用3D空间约束和2D图像约束对它们进行评分，以得到最佳目标方案。


1.1 生成长方体候选
对象表示为9DoF长方体，尺寸根据观测的平均值进行采样，方向根据支撑平面进行采样，3D长方体的8个顶点中的4个应该投影在2D边界框的四条边上，根据以上约束得到长方体候选对象。


给定长方体平移量T，维度D和方向R，上式改写为：


引入2D边界框作为约束，例如右边界为 x_{max} ，得出下式


边界框的一条边就可以形成一个方程来求解T。


四条边产生四个约束，为过约束问题，使用最小二乘法求解平移量T。
8个3D角分别对应于4条2D边，产生8^4=4096种情况，，当对象平行于地面，可以将可能性缩小至64种，并选择最小二乘的最小误差作为解。
1.2 根据约束选择候选


3D 空间约束为对象-对象体积相斥约束（通过IoU）和对象-平面靠近而不相交约束（通过距离和角度）； 2D 图像约束为投影长方体边到图像上后与检测到的图像线之间的角度和距离误差
2. 点-面-对象SLAM


系统基于ORB-SLAM2，采用曼哈顿世界假设，假定平面相互平行或垂直，场景为室内环境。
2.1 BA公式
共同优化相机位姿、长方体、平面和特征点，表示为最小二乘问题：


2.2 观测
点：重投影误差


平面：使用了平面最小参数化方法， τ = (φ,ψ,d)T ，其中 φ 和 ψ 分别是平面法线向量的方位角和仰角:




对象：类似于点，将长方体对象投影到图像平面上得到8个顶点，并将投影的长方体顶点与检测到的物体顶点相关联，测量值是这些顶点的几何距离之和:


点和平面：如果特征点与平面间的距离满足阈值并且在至少 3 个关键帧中被观察到，则构成一组约束，误差定义为该点 P 与其关联平面 π 的距离：


点和对象：如果特征点的像素位置位于对象的 2D 边界框内，且在超过 3个关键帧中被观察到，则构成一组约束，误差通过将点转换到相应的对象坐标系下，并比较其与长方体对象的尺寸得到：


平面和对象：通过检查平面与对象的六个表面的方向和正交距离是否满足角度阈值和距离阈值来关联平面和对象，误差表达为对应关联平面之间的距离：


3. 数据关联
点-平面关联：正交距离，当距离满足阈值且在至少3个关键帧中观测到点时，选取点作为平面内的点 P_{plane} 。
点-对象关联：点的像素位置是否位于对象的2D边界框内，如果特征点在3个以上关键帧被关联，则成为对象内点 P_{object} 。
平面-对象关联：检查平面和对象的方向和正交距离是否满足角度阈值和距离阈值来关联它们。
平面-平面关联：通过方向阈值、正交距离阈值和平面内点的最小数量进行匹配
对象-对象关联：满足 2D IoU 阈值和共享内点数量阈值的两个对象被视为关联
特征点通过词袋算法进行匹配
Experiments:

1. 单帧对象检测
引入了3D约束来对长方体候选进行评分，从而尽量使对象与具有合适尺寸的平面对齐。结果显示对于大多数对象，3D约束的引入提高了3D 对象 IoU 性能，并且检测到的3D IoU比CubeSLAM方法更高








2. 点-面-对象SLAM系统
作者认为改进来自两个方面：（1）具有主导方向的平面检测有助于更好的姿态估计，因为点SLAM到点面SLAM有明显改进（2） 严格的异常值剔除方法确保了稳健的数据关联，不同地标之间的约束得到了可靠和精确的结果


Discussion and Future work:

由于基于ORB特征的初始化在某些情况下可能会失败，因此未来的工作应该专注于更好的平面或其他地标初始化系统。此外，我们目前的方法要求对象是完全可见的，忽略了图像中仅部分观察到的对象。考虑这些部分可见对象可以为SLAM系统提供额外的信息。