- 本课程包括:
- 3个月群内答疑,讲师助教及时解答
- 课程有效期为1年,建议合理规划学习
- 课程配有作业练习,助教一对一批改
- 班主任带班,严格督学,告别拖延
- 根据学习情况颁发结业证书、优秀学员证书
任乾
自动驾驶建图与定位总监,北京理工大学导航、制导与控制硕士。从2011年起,开始进入惯性导航、多传感器融合定位领域,具有多种精度等级、多种配置、多种场景下的传感器融合定位系统成功研发经验。在IEEETransactionsonIndustrial Electronics,Sensors and Actuators等SCI期刊上发表文章,并撰写知乎专栏《从零开始做自动驾驶定位》 (累计阅读70万+)。
多传感器融合已成为自动驾驶及机器人的主流定位方案,涉及内容广泛且繁杂,包括传感器的标定、数据处理、SLAM、滤波等。自学入门难度比较大,通过本课程不仅能够入门最困难的传感器IMU,为后续深入学习打下坚实基础,并且可以学习到3D Lidar SLAM的前沿成果。在ROS框架下,从零开始,亲手搭建前端-回环检测-基于滤波-基于图优化的融合定位解决方案。课程中所讲的无论是基于滤波的还是基于优化的方法,都可以很好的运用在实际工作中,分析新加入的传感器的模型及融合思路,帮助实现新传感器的融合定位,同时捋清了优化框架的实现方法。
课程目标
目标O13D激光里程计
掌握3D激光里程计的基础理论,理解帧间点云匹配和位姿优化的原理和应用
目标O2激光点云特征地图的构建
基于后端优化理论,掌握在多种约束下的点云特征地图构建方法
目标O3多源传感器融合定位
基于多源传感器数据(GNSS+IMU+轮速计+点云特征地图),掌握基于滤波与图优化两类方法的融合定位原理和应用
课程脉络
-
1
01激光里程计从基础到进阶:
激光里程计从基础到进阶:首先讲述了激光里程计的基本原理,包括直接法和特征法。再结合后端优化的基本原理,讲述了如何运用回环检测和惯导先验位姿修正里程计误差。最后基于惯性导航基础原理,讲述如何运用IMU对激光里程计进行融合。
-
2
02点云建图从基础到进阶:
点云建图从基础到进阶:结合后端优化的基本原理,运用回环检测和惯导先验位姿对点云地图进行构建和优化;结合图优化理论对地图进行优化。
-
3
03实时定位从基础到进阶:
实时定位从基础到进阶:首先讲述基于特征地图匹配的定位方法,然后分别讲述了基于Kalman滤波的融合定位方法和基于图优化的融合定位方法。
-
4
04课程每章节均安排了实践作业:
课程每章节均安排了实践作业:作业中提供了代码框架,方便大家对所学的知识进一步理解和巩固。
课程大纲
-
第1章:概述
本章节主要介绍多传感器融合定位行业的发展现状,并概况了本课程的整体讲解思路,方便学生对本课程有个大致理解。
-
第2章:3D激光里程计 I
本章节讲述3D激光里程计的理论和实现方法。本章节重点介绍直接法,包括ICP和NDT,其中ICP又介绍了基于SVD的方法和基于优化的方法,然后介绍了激光点云畸变补偿的方法,最后基于KITTI数据集实现基于直接法的激光里程计。
-
第3章:3D激光里程计 II
本章节带领学生巩固SLAM基础——非线性优化的同时,对非线性优化进行扩展,教给学生不同的优化方法。并讲解针对VIO-SLAM的优化方法。循序渐进,由浅入深的带领学生理解整个算法框架的优化过程。
-
第4章:点云地图构建及基于地图的定位
首先基于回环检测和惯导先验位姿优化的原理,讲述了如何采用里程计相对位姿、回环相对位姿、惯导先验位姿进行融合,构建点云地图。然后介绍了基于点云地图的定位方法。最后介绍了开源的激光SLAM方案LeGO-LOAM。
项目实践
-
项目一:基于直接匹配的前端里程计
学习激光传感器原理。学习基于直接匹配的前端里程计方案,包括ICP匹配以及NDT匹配算法。推导基于点到点的ICP算法的SVD解法以及推导经典NDT算法。学习点云畸变的原因以及补偿方法。最后使用KITTI数据集,结合KITTI数据集实现一个基于SVD的ICP匹配算法的前端里程计。并学习使用evo工具评测前段里程计精度。
-
项目二:基于特征的前端里程计
学习特征中的点线面几何基础,及点云线面特征提取。学习基于线面特征的位姿优化,推导特征法中的线,面残差模型,并推导相应的雅可比。学习现有的开源特征里程计,包括A-LOAM,F-LOAM,LOAM。学习ceres-solver的解析求导与自动求导。使用C++语言和ceres-soler实现基于特征的解析式求导特征里程计。
-
项目三:基于点云地图的定位
学习回环检测方法,主要包括有初始相对位姿和无初始相对位姿的方法;学习后端优化基本原理,以及相关数学知识和公式推导。学习基于回环的位姿优化。在课程提供的工程框架的基础上学习点云地图建立的流程,以及工程框架的设计思路。使用C++实现基于点云地图的定位,及载体在地图中任意位置的初始化。
-
项目四:惯性器件误差分析及标定
学习惯性器件的误差组成并分析惯性器件的误差。学习惯性器件内参误差标定的方法。使用C++语言,按照不需要转台标定方法中所给出的内参模型及残差模型,推导加速度计对应残差对加速度内参的雅可比。使用推导出来的内参模型在仿真数据上验证内参的标定。
-
项目五:惯性导航解算
学习三维运动描述的基础知识与微分性质,包括四元数和旋转矩阵以及微分方程。学习惯性导航解算,包括欧拉法以及中值法。推导误差方程,包括姿态,速度,位置误差方程。使用C++语言,利用IMU仿真数据,完成基于中值法和欧拉法的解算,并对精度做对比分析。
-
项目六:基于滤波的融合方法
学习滤波器的作用基本原理,主要包括贝叶斯滤波的原理,卡尔曼滤波的推导,扩展卡尔曼滤波和迭代扩展卡尔曼滤波的推导。学习卡尔曼滤波器实际使用流程。使用C++语言,构建滤波器,在KITTI上实现基于地图的Lidar和IMU的融合定位。
-
项目七:运动模型约束融合定位
学习编码器运动模型与标定,学习融合编码器,运动约束和点云特征的的滤波方法。在基于滤波的融合方法的基础上,实现融合运动模型的滤波方法。对比加入运动约束模型约束前后的滤波精度变化。
-
项目八:基于图优化的建图方法
学习预积分的融合方案流程,以及预积分的模型设计和预积分在优化中的使用。设计预积分的残差,推导雅可比和计算残差的方差。介绍典型方案LIO-SAM。推导融合编码器时的预积分公式的推导。使用C++实现基于IMU预积分的融合方法。
学习收获
- 1掌握常用3D激光SLAM算法的原理以及代码实现,并具备根据需求改进算法的能力
- 2掌握点云地图构建及基于地图定位的原理,具备独立建图和定位的工程能力
- 3掌握惯性器件误差分析及标定、温补方法,以及多传感器时空标定的方法
- 4熟悉基于滤波器和基于图优化的多传感器融合方法,并有能力实现一套融合系统
- 课程适合谁学习
- 工程师:自动驾驶及机器人领域融合定位/SLAM的工程师
- 专业进阶:融合定位领域的研究生及高年级本科生
- 课程所需的基础知识
- 具备基础的ROS工程编译及使用能力
- 具备一定的C++基础,系统阅读过至少一种主流的SLAM开源代码
- 系统学习过高数、矩阵论或 线性代数、概率论的知识
全方位的学习服务
个性化增值服务,学习有保障更高效
-
作业批改
作业批改 助教1V1批改作业,定期针对作业中的“通病”进行点评
-
结业证书
结业证书 本课程将根据作业完成情况评选结业学员及优秀学员,颁发证书
-
实时答疑
实时答疑 讲师微信群答疑,及时解决大家遇到的问题
-
班班督学
班班督学 班主任全程带班,不定时“关照”未交作业的同学,克服拖延
-
第1章: 概述 2节课程1篇阅读材料·1次作业·45分钟
本章节主要介绍多传感器融合定位行业的发展现状,并概况了本课程的整体讲解思路,方便学生对本课程有个大致理解。
- 1:多传感器融合定位-第1讲 V2.pdf
-
第1节: 课程概述
- 2:【视频】课程概述
-
第2节: 【作业】环境搭建
- 3-1:【作业】第一章
- 3-2:【资料】课程数据集
- 3-3:【环境代码】01-introduction
- 3-4:【作业思路】第一章
-
第2章: 3D激光里程计 I 7节课程1篇阅读材料·1次作业·1小时52分钟
本章节讲述3D激光里程计的理论和实现方法。本章节重点介绍直接法,包括ICP和NDT,其中ICP又介绍了基于SVD的方法和基于优化的方法,然后介绍了激光点云畸变补偿的方法,最后基于KITTI数据集实现基于直接法的激光里程计。
- 4:【课件】多传感器融合定位-第2讲 V1.pdf
-
第1节: 激光雷达工作原理及课程框架
- 5:【视频】激光雷达工作原理及课程框架
-
第2节: 基于SVD的ICP
- 6:【视频】基于SVD的ICP
-
第3节: 基于优化的ICP
- 7:【视频】基于优化的ICP
-
第4节: NDT理论讲解
- 8:【视频】NDT理论讲解
-
第5节: 点云畸变补偿方法
- 9:【视频】畸变补偿
-
第6节: 基于KITTI数据集的实现
- 10:【视频】基于kitti的实现
-
第7节: 作业
- 11-1:【作业】第二章
- 11-2:【代码框架】02-lidar-odometry-basic
- 11-3:【作业思路】第二章
- 11-4:【文档】第二章作业思路提示
-
第3章: 3D激光里程计 II 6节课程1篇阅读材料·1次作业·1小时44分钟
本章节继续讲述3D激光里程计的理论和实现方法。本章节重点介绍特征法,包括点云线特征和面特征。然后介绍了基于线、面特征的位姿优化方法原理,并基于开源的里程计(如:ALOAM、FLOAM)进行代码讲解实现。
- 12:【课件】多传感器融合定位-第3讲 V1.pdf
-
第1节: 线面特征几何基础
- 13:【视频】线面特征几何基础
-
第2节: 点云线面特征提取
- 14:【视频】点云线面特征提取
-
第3节: 基于线面特征的位姿优化
- 15:【视频】基于线面特征的位姿变化
-
第4节: 位姿优化代码实现
- 16:【视频】位姿优化代码实现
-
第5节: 开源里程计
- 17:【视频】开源里程计
-
第6节: 作业
- 18-1:【作业】第三章
- 18-2:【视频】作业
- 18-3:【代码框架】lidar-odometry-advanced
- 18-4:【作业思路】第三章
-
第4章: 点云地图构建及基于地图的定位 6节课程1篇阅读材料·1次作业·1小时28分钟
首先基于回环检测和惯导先验位姿优化的原理,讲述了如何采用里程计相对位姿、回环相对位姿、惯导先验位姿进行融合,构建点云地图。然后介绍了基于点云地图的定位方法。最后介绍了开源的激光SLAM方案LeGO-LOAM。
- 19:【课件】多传感器融合定位-第4讲 V1.pdf
-
第1节: 整体流程介绍与回环检测
- 20:【视频】整体流程介绍与回环检测
-
第2节: 后端优化
- 21:【视频】后端优化
-
第3节: 点云地图建立
- 22:【视频】点云地图建立
-
第4节: 基于地图的定位
- 23:【视频】基于地图的定位
-
第5节: LeGO-LOAM
- 24:【视频】LeGO-LOAM
-
第6节: 作业
- 25-1:【代码框架】mapping-and-matching
- 25-2:【作业】第四章
- 25-3:【视频】作业
- 25-4:【作业思路】第四章
-
第5章: 惯性导航原理及误差分析 6节课程1篇阅读材料·1次作业·1小时52分钟
本章节首先介绍了惯性器件IMU中陀螺仪和加速度计的工作原理,然后介绍了IMU的误差、误差模型,以及误差分析方法。最后基于误差模型,介绍了IMU内参的标定方法,包括基于转台的标定方法和不依赖转台的标定方法。
- 26:【课件】多传感器融合定位-第5讲 V1.pdf
-
第1节: 本节内容介绍
- 27:【视频】内容概述
-
第2节: 惯性技术简介
- 28:【视频】惯性技术简介
-
第3节: 惯性器件误差分析及处理
- 29:【视频】惯性器件误差分析
-
第4节: 内参标定:内参模型、基于转台的标定方法&不依赖转台的标定方法
- 30:【视频】内参标定
-
第5节: 惯性器件温补
- 31:【视频】惯性器件温补
-
第6节: 作业
- 32-1:【作业】第五章
- 32-2:【代码框架】05-imu-calib.
- 32-3:【作业思路】第五章
-
第6章: 惯性导航解算及误差模型 5节课程1篇阅读材料·1次作业·1小时37分钟
介绍了三维刚体姿态的表达方法:欧拉角、旋转矩阵、四元数,以及它们之间的转换关系,并推导出它们各自的微分方程。然后介绍了基于姿态微分方程、速度微分方程、位置微分方程分别进行姿态、速度、位置的更新求解。最后对姿态误差方程、速度误差方程、位置误差方程进行推导。
- 33:【课件】多传感器融合定位-第6讲 V1.pdf
-
第1节: 三维运动描述基础知识
- 34:【视频】三维运动描述基础知识
-
第2节: 三维运动微分性质
- 35:【视频】三维运动微分性质
-
第3节: 惯性导航解算
- 36:【视频】惯性导航解算
-
第4节: 惯性导航误差分析
- 37:【视频】惯性导航误差分析
-
第5节: 作业
- 38-1:【作业】第六章
- 38-2:【代码框架】06-imu-navigation.
- 38-3:【作业思路】第六章
-
第7章: 基于滤波的融合方法 I 5节课程1篇阅读材料·1次作业·1小时36分钟
本章节从概率基础知识出发,介绍了贝叶斯理论,以及经典卡尔曼滤波。通过推导卡尔曼滤波方程,了解卡尔曼滤波的基本原理。最后根据上一节误差方程的推导,讲述了基于误差卡尔曼滤波器的融合定位方法和使用流程。
- 39:【课件】多传感器融合定位-第7讲 V1.pdf
-
第1节: 滤波器作用
- 40:【视频】滤波器的作用
-
第2节: 概率基础知识
- 41:【视频】概率基础知识
-
第3节: 滤波器的基本原理
- 42:【视频】滤波器基本原理
-
第4节: 基于滤波器的融合
- 43:【视频】基于滤波的融合
-
第5节: 作业
- 44-1:【作业】第七章
- 44-2:【视频】作业
- 44-3:【代码框架】filtering-basic
- 44-4:【作业思路】第七章
-
第8章: 基于滤波的融合方法 II 3节课程1篇阅读材料·1次作业·56分钟
本章节讲述了基于轮速编码器、车辆运动约束,以及点云特征的融合滤波方法。首先介绍了轮速编码器的运动模型和标定方法,及其观测方程的推导,然后介绍了融合运动约束的滤波方法及其观测方程的推导,最后介绍了IMU融合点云线面特征的滤波模型及其状态方程、观测方程的推导。
- 45:【课件】多传感器融合定位-第8讲 V1
-
第1节: 编码器运动模型与标定及基于编码器的滤波
- 46:【视频】编码器运动模型及基于编码器的滤波
-
第2节: 融合运动约束与点云特征的滤波方法
- 47:【视频】基于运动约束与点云特征的滤波
-
第3节: 作业
- 48-1:【作业】第八章
- 48-2:【视频】作业安排
- 48-3:【作业思路】第八章
-
第9章: 基于图优化的建图方法 6节课程1篇阅读材料·1次作业·1小时21分钟
本章节开始讲述了IMU预积分模型,及其在融合建图流程中的应用,然后介绍了轮速编码器与IMU基于预积分的融合方法。
- 49:【课件】传感器融合定位-第9讲 V1
-
第1节: 基于预积分的优化流程
- 50:【视频】基于预积分的优化流程
-
第2节: 预积分模型
- 51:【视频】预积分模型
-
第3节: 预积分在优化中的使用
- 52:【视频】预积分在优化中的使用
-
第4节: 典型方案介绍
- 53-1:【视频】典型方案介绍
- 53-2:【视频】典型方案介绍--LIO SAM
-
第5节: 基于编码器的预积分
- 54: 【视频】基于编码器的预积分
-
第6节: 作业
- 55-1:【资料附件】detailed_derivation
- 55-2:【作业】第九章
- 55-3:【代码框架】graph-optimization
- 55-4:【作业思路】第九章
- 55-5:【附件】详细推导过程
-
第10章: 基于图优化的定位方法 5节课程1篇阅读材料·1次作业·1小时18分钟
本章节介绍另一种融合定位方法:基于图优化的定位。为了解决性能问题,提出边缘化的思想,然后介绍在KITTI工程中基于地图定位的滑动窗口模型实现原理和边缘化过程,最后介绍了LIO-mapping的核心思想和具体流程。
- 56:【课件】多传感器融合定位-第10讲 V1
-
第1节: 基于优化的定位简介
- 57:【视频】基于优化的定位简介
-
第2节: 边缘化原理及应用
- 58:【视频】边缘化原理及应用
-
第3节: 基于KITTI的实现原理
- 59:【视频】基于kitti的实现原理
-
第4节: Lio-mapping
- 60:【视频】Lio-mapping
-
第5节: 作业
- 61-1:【作业】第十章
- 61-2:【视频】作业
- 61-3:【代码框架】sliding-window
- 61-4:【作业思路】第十章
-
第11章: 多传感器时空标定(综述) 1节课程·31分钟
本章节介绍了传感器(激光雷达、IMU、轮速编码器、相机)的内参标定,以及它们之间的外参标定方法和思路。然后介绍了传感器之间的时间标定方法。
-
第1节: 多传感器时空标定
- 62-1:【课件】多传感器融合定位-第11讲
- 62-2:【视频】多传感器时空标定
-
第12章: 大作业 1节课程1篇阅读材料·1次作业
检验学生对点云建图和融合定位相关知识的掌握情况,让学生具备在不同数据集上适配算法的能力,理解不同数据质量对算法效果的影响。
-
第1节: 大作业project
- 63-1:【作业】大作业
- 63-2:【作业思路】大作业
相关讲师
-
任乾
原自动驾驶公司研发总监,北京理工大学导航、制导与控制硕士。从2011年起,开始进入惯性导航、多传感器融合定位领域,具有多种精度等级、多种配置、多种场景下的传感器融合定位系统成功研发经验。在IEEETransactionsonIndustrialElectronics,SensorsandActuators等SCI期刊上发表文章,并撰写知乎专栏《从零开始做自动驾驶定位》(累计阅读30万+)。
-
石成玉
主要从事视觉/激光SLAM与多传感器融合等方面的研发工作。曾参与过大规模高精地图构建、众包高精地图构建、L4无人驾驶定位、室内外机器人定位建图等项目。作为深蓝学院特聘讲师,主导了《激光SLAM理论与实践》、《无人驾驶技术线下实战特训营》等核心课程的开发。
相关课程
课程讨论区
已累计讨论26495个问题
课程配备专属讨论区,不仅有讲师、助教全程答疑,更能与同学们交流讨论,在思维碰撞中加深理解
在课程中随想随问,同学们的问题也可能启发到你
在课程讨论区,和684位同学一起探讨更多问题···
作业批改
已累计批改4951份作业
助教一对一批改作业,定期针对作业中的问题进行评讲
结业证书
课程根据作业完成情况评选结业学员及优秀学员,颁发证书
优秀学员更能获得额外购课优惠
班班督学
班班、助教、讲师全程带班,日常答疑解惑
FAQ
1、课程可以试听吗?
可以,您可以联系客服领取试听内容,根据试听的效果决定是否报名。
2、报名课程后,如果不满意,可以退款吗?
我们承诺: 报名后7天内且学习进度停留在第一章节的内容可以无条件全额退款,若您的学习进度超过第一章或报名时间超过7天将不再支持退款哦。课好不好,学了就知道了!
3、报名课程的费用可以开发票吗?
深蓝学院所有课程都可以开具发票。您可以登录深蓝学院官网(https://www.shenlanxueyuan.com),进入个人“账户中心”,在线申请。
4、报名后怎么开始学习呢?
PC端:登录深蓝学院官网(https://www.shenlanxueyuan.com),进入“个人中心”或“我的课程” 的课程即可开始学习。课程中包含讲师讲解的视频、课件、代码、作业及其它学习资料。建议在PC端学习体验更好。
如果想缓存视频,可下载深蓝学院APP。
5、可以跟讲师直接交流吗?
报名课程后添加课程对应的班主任微信,由其邀请加入微信答疑群。在答疑群内,您可以直接跟讲师和其他同学讨论交流。
报名后在对应的课程详情页,可查看对应的班主任微信。
6、学习形式和学习周期是怎样的?
为保证学习质量方便同学们反复观看,本课程采用录播形式。建议同学们登录深蓝学院PC端官网体验更佳。
7、课程有有效期吗?
为了督促同学们学习,保证学习效率,学院的课程有效期均为一年,当课程有效期截止后将不再支持观看视频、下载课件等课程服务及操作。若同学们依旧想观看视频和下载课件,建议可选择续费本课程。需要提醒大家的是,课程答疑、作业批改&讲评等课程相关服务期从报名加入课程后开始计算至少保证三个月。
8、作业会提供参考答案吗?
不提供参考答案。当每章作业截止提交后,会解锁作业思路讲解。我们希望引导大家培养独立思考的习惯和敢于动手实践的勇气,以便尽快适应实际工作中解决问题的模式。做作业过程中,如果有任何困惑和问题,可以在课程讨论区和交流群内提问解决。
课程预览
多传感器融合定位