data association
类似于特征点匹配
data association
类似于特征点匹配
epipolar lines are horizontal
大前提
the horizontal coordinate in the right image
双目相机有行对齐校正,垂直坐标和左边是一样的
(b)
stereo keypoints立体关键点 mono keypoints单目关键点
Loop Candidates Detection
回环候选: 1. 相似度高于邻居 2. 不是邻居 3. 连续三个邻居都是回环候选
tracks
跟踪的点:能和局部地图点匹配上的点
Track Local Map
目的是找更多的匹配,优化相机位姿
ratio
ORB 特征图像金字塔的层数
current viewing ray
projection
局部地图所有点投影到当前帧
wider
还是搜索这一帧,但是搜索范围更大
PnP
PnP(透视n点问题),用于通过n组3D空间点与对应2D图像投影点,求解相机的位姿。
The pose is then optimized with the found correspondences.
核心是最小化重投影误差(Reprojection Error),即 “3D 地图点通过预测位姿投影到当前帧的像素位置” 与 “实际观测到的特征点像素位置” 的差值
guided search
算出应该在什么位置,在周围搜索
This technique to disambiguate the solutions makes our initialization robust under low parallax and the twofold ambiguity configuration, and could be considered the key of the robustness of our method.
如果视差小,就先不初始化,等到了视差足够的帧再初始化
8 motion hypotheses
单应矩阵反解R、t有8种可能
最大距离
ORB 的尺度不变性不是无限的(只靠有限层图像金字塔实现),一个 3D 地图点只有在相机离它的距离处于 $ d_min $(最小距离)到 $ d_max $(最大距离)之间时,才能被 ORB 特征检测到、匹配到;超出这个范围,要么点太大 / 太小检测不到,要么尺度不匹配没法识别。
汉明距离
汉明距离 = 两个等长二进制串对应位置上数字不同的位数
三角化
用两张图里的同一个点,算出这个点在 3D 世界里的位置
局部BA
仅对当前关键帧及其共视邻接关键帧、以及这些关键帧共同观测到的3D 地图点进行联合优化
直接法
不提取特征、不匹配点。假设相邻帧像素亮度不变,直接优化像素亮度误差,求相机位姿,同步建图(半稠密 / 稠密地图)
7自由度
3平移+3旋转+1尺度
仅运动BA
滤波
EKF、UKF这种
共视图
表示关键帧之间共同观测地图点的无向加权图。 - 节点:所有关键帧 - 边:两帧共视≥15个地图点就连边 - 权值:两帧共享的地图点数量
从共视图里精简出来、专门用于回环全局优化的稀疏子图。 - 节点:和共视图一样,全部关键帧 - 边:只保留三类——生成树边、高共视边(≥100)、回环闭合边 - 权值:无显式权值,只做位姿图优化用
逆深度参数化
用 ρ=1/d 代替深度 d,一开始给 ρ 一个方差很大、很不准的高斯分布,靠多帧观测 + 滤波,让 ρ 慢慢变准,最后再算出真实深度 d。(近处点有强视差约束,ρ 的方差能快速收敛。让「近处 / 远处的深度不确定性」都能被高斯分布合理描述,不会发散。)
召回率
召回率 = 检测出的真实正例数 / 全部真实正例数
词袋
将图像特征聚类构建视觉词典,把图像表示为视觉单词的频次向量,用于快速计算图像间相似度。
ORB-SLAM
经典