BEV感知理论与实践

本章介绍了自动驾驶从L2到L2+功能需求发生了极大变化，由于传统感知算法的局限性和扩展性不佳，强烈的需求变化驱动了技术发展和感知模型的演变。随后补充讲解了重点模型Transformer的基础知识，以ViT和DETR为例介绍了Transformer的关键组件Self-Attention和Cross-Attention，为后续BEV感知模型视角转换章节的理解打好知识基础。

BEV为多传感器融合提供了更加合适的特征空间，在多模态多任务结合方面提供了统一的优化目标，减少了规则化设计，可以提升在多场景下的泛化适应能力。其中，最为关键的环节是由2D图像平面到BEV空间平面的空间转换过程。在本章中介绍了当前主流的特征空间转换方法，包括IPM、2D-to-3D的深度估计方法LSS、3D-to-2D基于transformer的Sparse Query和Dense Query方法。

本章介绍了LSS系列的感知模型和算法各自的特点，Lift-Splat-Shoot提出了LSS，以预测视锥深度方式将2D图像特征转换到BEV空间视角；CaDDN在深度估计上加入显式监督来完成单目3D检测；BEVDet实现了多相机视角的LSS转换方法；BEVDet4D在BEVDet基础上支持了时序信息融合；M2BEV支持检测和分割多任务联合；BEVFusion在BEV空间上支持了多传感器融合；FastBEV在推理性能上做了进一步优化。

本章深入讲解了LSS感知模型的工程实现，从数据标注和预处理方面上讲解了数据“流”；在工程代码的框架上介绍了集大成的框架“流”；在模型设计上讲解了关于模型封装与算法流程的模型“流”，重点讲解了image-view encoder与LSS-view transform；最后在张量“流”环节，通过逐层调试查看LSS模型中张量的变化，学习模型的推理过程。

本章以BEVDet为例介绍了BEV感知模型在征程芯片j5上的部署与推理加速，介绍了地平线OpenExplorer工具开发包，重点讲解了BEVDet浮点模型的搭建流程，模型量化中的流程细节与注意事项，精度Debug工具的使用，模型量化后的可视化效果，最后介绍了模型编译和上板性能测评。

本章介绍了基于Transformer系列的BEV模型和一系列代表算法，主要分为稠密Query和稀疏Query的BEV特征表示。稠密BEV特征以BEVFormer为代表，可以支持时序融合和多任务实现；稀疏Query以PETR系列为代表，PETR优化了Cross Attention并引入3D位置编码；PETRv2支持位置编码的时序融合和多任务实现；Stream PETR提出了Object-Centric时序融合；FUTR3D实现了多传感器融合等，最后总结了LSS与Transformer两种视角转换方式之间的异同点。

本章深入讲解了以BEVFormer为代表的Transformer-basedBEV感知模型的工程实现。深入讲解了Transformer-based方法3D-to-2D的转换思路，在模型设计上讲解了关于模型封装与算法流程的模型“流”，着重讲解了BEVFormer Encoder部分的TemporalSelfAttention、SpatialCrossAttention和Decoder部分的DetectionTransformerDecoder；在张量“流”环节，通过逐层调试查看BEVFormer模型中张量的变化，学习模型的推理过程。

本章介绍了BEV感知模型在Nvidia芯片上的部署与推理加速，介绍了模型在部署时的算力要求和实时性需求。重点讲解了BEVFormer模型的部署过程，其中包括由pth模型转换为ONNX的代码流程，由ONNX转换为TensorRT模型的流程细节和注意事项，以及如何使用TensorRT工具对模型进行量化，最后对模型的量化结果做加速推理测试。

本章介绍了Occupancy的任务定义以及Benchmark的建立。根据技术脉络，着重介绍了6个关于Occupancy的相关工作。MonoScene第一次通过2D实现单目3D语义场景补全；VoxFormer提出两阶段的单目3D语义场景补全；TPVFormer拓展到多相机Occupancy预测；OpenOccupancy与SurroundOcc重点提出了稠密数据集的构建流程与自动化生成过程；Occ3D优化了自动标注流程，同时提出了Occlusion Reasoning的概念等。

本章介绍了无图方案，将局部路网结构下的感知从高精地图构建转变为了实时感知，逐渐接近高精地图方案，达到量产能力。重点介绍了几种模型：HDMapNet用语义分割实现多相机的局部地图构建，进行矢量元素检测；STSU使用贝塞尔曲线与连接矩阵构建局部地图；VectorMapNet与MapTR使用polyline+点集构建地图等。

端到端的自动驾驶由BEV扩展而来，也是当前研究和应用的热点，技术不断蓬勃发展，螺旋上升。LSS首次在视觉BEV特征上做出Perception+Planning结合；FIERY在视觉BEV特征上支持了Perception+Prediction；MUTR3D首次实现了多相机端到端Perception+Tracking；UniAD将所有任务以Query形式表达，实现了Perception+Prediction+Planning等。

本章介绍了数据标注随着感知算法迭代以及轻地图方案的发展而发生的变化，介绍了2D与3D数据的生产方式、成本与标注方式；4DLabel标注的发展背景与其在重感知轻地图路线中逐渐发挥的作用；最后介绍了在实际自动驾驶中面临的数据问题，包括corner case、标注复杂与跨车泛化性等难题和解决方案。