端到端自动驾驶通用算法框架UniAD

本文主要是介绍端到端自动驾驶通用算法框架UniAD，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

端到端自动驾驶通用算法框架UniAD

引言

自动驾驶是一项高度复杂的技术，需要多个学科领域的知识和技能，包括传感器技术、机器学习、路径规划等方面。自动驾驶还需要适应不同的道路规则和交通文化，与其他车辆和行人进行良好的交互，以实现高度可靠和安全的自动驾驶系统。面对这种复杂的场景，大部分自动驾驶相关的工作都聚焦在具体的某个模块，关于框架性的研讨则相对匮乏。自动驾驶通用算法框架——Unified Autonomous Driving（UniAD）首次将检测、跟踪、建图、轨迹预测，占据栅格预测以及规划整合到一个基于 Transformer 的端到端网络框架下，完美契合了 “多任务”和“高性能”的特点，可称为自动驾驶中的技术突破。地平线与上海人工智实验室提出了自动驾驶通用算法框架——Unified Autonomous Driving（UniAD）。UniAD 首次将检测，跟踪，建图，轨迹预测，占据栅格预测以及规划整合到一个基于 Transformer 的端到端网络框架下，在 nuScenes 数据集下的所有相关任务都达到 SOTA 性能，尤其是预测和规划效果远超其他模型。
在这里插入图片描述

感知决策一体化自动驾驶大模型

自动驾驶是一个高度复杂的技术体系，不仅需要多个学科领域的知识和技能，包括传感器硬件、机器学习、多模态融合等内容，还需要适应不同国家与地区的道路规则和交通文化，与车辆及行人进行良好的交互，以实现高度的可靠性和安全性。
自动驾驶系统中包含三大主任务即，感知、预测和规划。当前，业界主流的方案架构分别采用不同的模块来处理这些具体任务，但由于各模块并非以驾驶为最终目标进行优化，因而自动驾驶系统的整体性能提升受到了很大限制。
在UniAD中，研究人员首次将感知、预测和规划等三大类主任务、六小类子任务（目标检测、目标跟踪、场景建图、轨迹预测、栅格预测和路径规划）整合到统一的基于 Transformer的端到端网络框架下，实现了全栈关键任务驾驶通用模型。在 nuScenes 真实场景数据集下，UniAD的所有任务均达到领域最佳性能（State-of-the-art），尤其是预测和规划效果远超之前的最佳方案。其中，多目标跟踪准确率超越SOTA 20%，车道线预测准确率提升30%，预测运动位移和规划的误差则分别降低了38%和28%。
在这里插入图片描述

核心技术

多组 query 的全 Transformer 模型

UniAD利用多组query 实现了全栈Transformer的端到端模型，我们可以从具体 Transformer的输入输出感受到信息融合。

在TrackFormer中，Track query通过与BEV特征通过attention的方式进行交互，输出Track特征QA。
Map query经过MapFormer的更新后，得到特征QM
MotionFormer使用Motion query与QA、QM以及BEV特征进行交互，得到未来轨迹特征QX。
OccFormer 以密集的BEV特征为Q和稀疏的特征QA对应的位置信息PA和QX作为K和V来构建实例级别的占据栅格。

基于最终“规划”为目标

在 TrackFormer 中，Track query 中包含一个特定的 ego-vehicle query 用来表示自车属性。规划模块 (Planner) 将 MotionFormer 更新后的 ego-vehicle query 与 BEV 特征进行交互，此时 ego-vehicle query 包含对整个环境的感知与预测信息，因此能更好的学习 planning 任务。为了减少碰撞，我们还利用占据栅格预测模块 OccFormer 的输出对自车路径进行优化，避免行驶到未来可能有物体占用的区域。在这个过程中，全部的模块通过输出特定的特征来帮助实现最终的目标“规划”。

整体流程优化

当前大部分自动驾驶系统研究，都聚焦在具体的某个模块，缺少能够实现端到端联合优化的通用网络模型。现有的自动驾驶系统可大致归为三类：（a）模块化组成的系统；（b）多任务模块架构的系统；（c）端到端自动驾驶系统。在这里插入图片描述

其中传统的端到端算法可分为：基础的端到端算法，直接从传感器输入预测控制输出，但是优化困难，在充满复杂视觉信息的真实场景中应用面临较大挑战；（按照任务划分网络的显式设计，但是网络模块之间缺乏有效的特征沟通，需要分阶段的输出结果，任务间缺乏有效交互。本文提出的决策导向的感知决策一体设计方法，用token特征按照感知-预测-决策的流程进行深度融合，使得以决策为目标的各项任务指标一致提升。