BEV+Transformer，为“无图大战”再添一把火

谁在遥遥领先？

如果说燃油车时代，发动机的功率、扭矩、零百加速，最能激发消费者购买激情，那么来到电动车时代，智能化或许会成长为最核心的标签。

厂家也发现了这一点，在赋予车型定位时，少不得“智能”二字。从今年的发展趋势来看，城市NOA已经成为了“香饽饽”，一些厂家在新车发布时，除了公布价格之外，最大的看点就是城市NOA的技术进展和开城时间。

有数据显示，2022年我国前装标配搭载NOA的乘用车交付量为21.22万辆，占组合驾驶辅助产品搭载总量的比例为1.06%；2023年上半年，前装标配交付量已达到20.94万辆，实现同比倍增，预计全年有望突破50万辆。

NOA的实现主要依托感知技术。目前感知主要分为两个部分，一个是特斯拉采用的纯视觉感知，另外一种就是多传感器融合的方案，也是目前国内厂家主要采取的方案。

在多传感器融合的方案中，挑战在于，不同传感器收集到的数据类型、坐标系维度不同。比如，摄像头获得的视觉数据属于2D图像空间，而激光雷达收集到的点云数据则是3D空间。

如何有效地处理与融合这些数据，成为了感知环节必须应对的问题。

★ 前融合、中融合、后融合 

目前主要有前融合、中融合、后融合三种方式，主流方案大多为后融合。

后融合：每种传感器都有自己算法，各自处理生成目标数据，当所有的传感器生成目标数据，并且时间同步后，就可进行数据融合。

后融合算法典型结构（信息来源：CSDN）

后融合的优点是解耦性好，且各传感器可以互为冗余备份。但缺点也很明显，由于后融合是基于规则处理的，会受到先验思路（从结果推向过程）限制，并且传感器各自对目标识别后再融合，中间也损失了很多有效信息，对感知精度也会造成影响。

图：前融合算法典型结构（信息来源：CSDN）

前融合，是指把各传感器的数据采集后，经过数据同步，对这些原始数据进行融合。

更早的进行数据融合，降低了数据损失的可能。但由于视觉数据和激光雷达点云数据所处坐标维度不同，所以融合起来难度很大，需要建立精准的雷达坐标系、三维世界坐标系、摄像头坐标系等等，同时对平台算力提出了很高要求。

图：中融合算法典型结构（信息来源：CSDN）

再聊一下中融合。

中融合，也称为特征级融合：先分别从传感器的原始数据中获取有效的特征数据，再将有效特征融合，特征信息包括边缘、方向、速度、形状等。数据损失没后融合那么多，算力消耗也没前融合那么庞杂。

★BEV+Transformer，为数据融合按下快捷按钮

有没有发现，无论是中融合，还是后融合，都需面临一道关卡，那就是异构数据带来的坐标系转换。开发人员为了解决这个问题，往往是将摄像头的2D信息转换为3D。

这也就引进了一种全新的3D坐标系——BEV

鸟瞰视角（Bird''s Eye View，简称BEV）是一种从上方观看对象或场景的视角，就像鸟在空中俯视地面一样。在自动驾驶和机器人领域，通过传感器（如LiDAR和摄像头）获取的数据通常会被转换成BEV来表示，以便更好地进行物体检测、路径规划等任务。

传统的摄像头采用的是“透视原理”，会出现遮挡、掩盖等现象，而BEV视角就像日常用车时使用的360°全景倒车影像，看的清清楚楚，且没有遮挡。

此外，BEV空间内的感知任务，在精度上也有优势。

摄像头是不具备深度信息的，采取2D感知时，面对远处的物体，很难做到精确距离的识别，但在BEV空间内训练模型，感知结果会更加准确，同时还能很好地应对Corner Case, 如复杂道路状况、狭窄或遮挡的道路等。

但问题还是有，摄像头和激光雷在识别时，都以时间上断续的帧为单元，并没有设计跨越时间尺度、Frame by frame的时域网络，这也就导致了其没办法完全利用时序上的有用信息。

这两年，随着AI深度学习的兴起，Transformer被应用在BEV空间转换、时间序列上，形成了一个端到端的模型。

Transformer强调注意力法则，在意数据之间的内在结构和相互关系，用于提取多模态数据中的特征，从而有效地识别和定位环境中的障碍物。

有这么一个比喻，引入Transformer后，就像做饭请了一位资深的厨师，他就站在旁边看着你做饭，告诉你各种流程，具体根据你要做的菜品，指导你分配不同比例的油盐酱醋，从而端上来一份美味佳肴。

BEV+Transformer最早由特斯拉提出，今年以来，国内的新势力和供应商也纷纷开始进军BEV，比如蔚来、理想、小鹏、毫末智行、小马智行等等。

再往后，Occupancy占用网络也会被逐渐加进来，BEV还是要从数据库中比对识别障碍物之后，才能完成跟踪，但占用网络将障碍物3D栅格化，哪怕不知道这个障碍物到底是什么，也能识别出这是个需要规避的障碍物。

今年，华为问界，小鹏G6的火爆，让市场看到了智驾对用户的吸引力，以及新的增长点。对于算法的更新，各家的工程团队已经在快马加鞭了，就看谁家可以将这些新的技术最快落地。

★写在最后

根据手机等电子行业和新能源自身的发展来看，新型事物的发展基本是走S型曲线，渗透率会经历由慢到快，再到慢的过程。

有些消费者存疑的功能，在等到一个时机之后，就会进入“忽如一夜春风来” 遍地开花的阶段。如今，正是智驾大规模普及的前夜。

但技术的积累并非一朝一夕就能完成。这时候，好的产品定义，战略目标就显得非常重要。当下汽车环境非常躁动，很多汽车从业人员都直呼很卷，越是这个时刻，越是考验主机厂的谋略布局。毕竟，谁踩中了用户新一轮的需求，谁就能在接下来的市场中站稳脚跟。

本文作者为踢车帮 晞贝