车载视觉传感器概述

相对于其他传感器，摄像头的价格相对低廉，技术成熟，有着识别车道线、车辆、交通标志等物体的基础能力，在汽车高级辅助驾驶市场已被规模使用。

目前使用摄像头的ADAS功能有：自适应巡航ACC、车道偏离预警LDW、车道保持辅助LKA、前碰撞预警FCW、自动紧急制动AEBS、交通标志识别TSR、智能远光控制IHC、自动泊车AP、行人监测系统PDS、360环视系统、倒车影相系统、盲点探测BSD、驾驶员疲劳检测DSM、全景泊车系统SVC等。

车载视觉传感器技术定义：简单而言，就是用摄像头代替人眼对目标（车辆、行人、交通标志）进行识别、跟踪和测量，感知到汽车周边的障碍物以及可驾驶区域，理解道路标志的语义，从而对当下的驾驶场景进行完整描述。

车载视觉传感器优势：摄像头在技术层面相对成熟，具有较高的图像稳定性、高传输能力和抗干扰能力，且单个摄像头成本已降到200元以下，因此单车可以配备6-8个摄像头覆盖不同角度，目前国内前后装摄像头需求量已超过8000万个。

车载视觉传感器劣势：摄像头对光线的依赖使其无法全天时（如夜晚）、全路况（如隧道）工作，需要其他传感器作为补充。

车载视觉传感器分类：依据不同的图像检测原理，可分为单目摄像头和双目摄像头，根据芯片类型又可分为CCD摄像头和CMOS摄像头，等等。

车载视觉传感器的功能：感知能力，定位能力。

感知能力：障碍物识别、车道线识别、交通标志识别、交通信号灯识别、可通行空间识别；

定位能力：视觉SLAM技术，根据提前建好的地图和实时的感知结果做匹配，获取当前无人车的位置。视觉SLAM需要解决的最大问题在于地图的容量过大，稍微大一点的区域，就对硬盘的容量要求很高。如何制作出足够轻量化的地图，成为SLAM技术商业化的关键。

车载视觉传感器的关键性能：

1、微光性能：微光性能对于汽车影像系统是相当重要的，卓越的微光性能可提高在夜间等光线很暗的情况的行车安全。图像传感器厂商都以“在暗处能看见”为目标。

2．高动态范围(HDR)：HDR 是汽车影像系统应用的另一个重要特性，确保摄像机可在宽范围的光线 、黑暗和高光照对比情况下清楚地呈现场景细节，提高图像信息的精确度从而提升安全性。

3．广角鱼眼畸变校正(DEWARP)：广角鱼眼镜头用于车载影像具有宽广视野的优势，但采集到的图像信息会产生一定程度的失真，采用 DEWARP 技术可对广角鱼眼镜头所产生的视频图像失真进行实时校正，将图像复原展平。

4．图像叠加：图像叠加指通过图像传感器与图像处理辅助芯片结合使用，实现图像的延伸、缩放、右视、两板左 / 右视、三联式画面及倒车动态辅助线。图像叠加功能可以更好地辅助驾驶员看清周围环境，减少事故发生率。

单目摄像头

单目摄像头由一个摄像机+一个镜头组成。

优点：算法成熟度高；

缺点：视角问题（短焦距视野广看得近，长焦距看得远视角小）、测距精度问题。

单目摄像头有一个非常重要的功能就是障碍物分类，我们都知道，摄像头获得的是照片，但是怎么让照片和照片中的物体分类对应起来呢？此时就需要引入机器学习了。

20世纪80年代末期，用于人工神经网络的反向传播算法（也叫Back Propagation算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机（Multi-layer Perceptron），但实际是种只含有一层隐层节点的浅层模型。

2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画出数据的丰富内在信息。

深度学习的实质：是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。

深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。

摄像机的成像图是透视图，越远的物体成像越小。近处物体，需要用几百个甚至上千个像素点描述；而处于远处的同一物体，可能只需要几个像素点即可描述出来，这种特性导致，越远的地方，一个像素代表的距离越大，因此对单目来说，物体越远，测距精度越低。

双目摄像头

单目测距存在缺陷，双目摄像机应运而生。相近的两个摄像机拍摄物体时，会得到同一物体在摄像机的成像平面的像素偏移量。有了像素偏移量、相机焦距和两个摄像机的实际距离这些信息，根据数学换算即可得到物体的距离。

根据双目测距原理应用在图像上每一个像素点时，即可得到图像的深度信息。

优点：双目能得到较高精度的测距结果和提供图像分割的能力；

缺点：视角问题，对两个镜头的安装位置和距离要求较多，给相机的标定带来麻烦，对摄像头的一致性要求非常高。

三目摄像头

由于单目和双目都存在某些缺陷，因此广泛应用于无人驾驶的摄像机方案为三目摄像机。三目摄像机其实就是三个不同焦距的单目摄像机的组合。

根据焦距不同，每个摄像机所感知的范围也不尽相同。三个摄像头的感知范围由远及近，分别为前视窄视野摄像头（最远感知250米）、前视主视野摄像头（最远感知150米）及前视宽视野摄像头（最远感知60米）。

由于三目摄像机每个相机的视野不同，因此近处的测距交给宽视野摄像头，中距离的测距交给主视野摄像头，更远的测距交给窄视野摄像头。这样一来每个摄像机都能发挥其最大优势，可以得到较好的测距精度。

三目摄像机能较好地弥补感知范围的问题。但是需要同时标定三个摄像机，因而工作量更大。其次软件部分需要关联三个摄像机的数据，对算法要求也很高。

鱼眼相机

之前提到的三款摄像机它们所用的镜头都是非鱼眼的，环视摄像机的镜头是鱼眼镜头，而且安装位置是朝向地面的。

鱼眼镜头是一种焦距为16mm或更短的并且视角接近或等于180°的镜头。 它是一种极端的广角镜头，“鱼眼镜头”是它的俗称。为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径很短且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。

鱼眼镜头属于超广角镜头中的一种特殊镜头，它可以获得较大视野，但是图形畸变严重。通过标定值，进行图像的投影变换，可将图像还原成俯视图的样子。之后对四个方向的图像进行拼接，再在四幅图像的中间放上一张车的俯视图，即可实现从车顶往下看的效果。

事件驱动型摄像头

在传统的视觉领域，相机传回的信息是同步的，所谓同步，就是在某一时刻t，相机会进行曝光，把这一时刻所有的像素填在一个矩阵里回传，一张照片就诞生了。

传统摄像头为取悦人眼而存在,应用于机器视觉并不经济。时间驱动型摄像头DVS采用新型的仿生原理图像传感器芯片，全时全速追踪运动物体，有效过滤冗余背景信息，输出运动物体的结构化场景信息，实现感知端预处理，减轻后端信号处理算法的复杂度，并使用更低的计算资源处理器来实现实时处理能力。

事件驱动型摄像头的工作机制是，当某个像素所处位置的亮度值发生变化时，相机就会回传一个具有四组数据的事件，其中前两项为事件的像素坐标，第三项为事件发生的时间戳，最后一项取值为极性（polarity）0、1,（或者-1、1）代表亮度是由低到高还是由高到低，也常被称作Positive or Negtive Event，又被称作On or Off Event。就这样，在整个相机视野内，只要有一个像素值变化，就会回传一个事件，这些所有的事件都是异步发生的（再小的时间间隔也不可能完全同时），所以事件的时间戳均不相同，由于回传很简单，所以和传统相机相比，它具有低时延的特性，可以捕获很短时间间隔内的像素变化。

DVS的特点：无固定观察频率、响应速度灵敏、脉冲式信息读取和输出、像素电路间并行处理、主动特征提取，无多余背景信息。自动驾驶、尤其是L4、L5高度自动驾驶，面临大量对实时和高速处理要求高、算力不可达的场景，以及一些边缘性场景（Corner Case），基于上述原理和核心技术，DVS动态视觉传感器有能力解决。比如特斯拉Model S将卡车误判为白云、Uber自动驾驶车辆夜晚撞死横穿马路的行人、以及自动驾驶车辆进出隧道光强变化等场景。

DVS技术在许多领域将有重要应用，除运用自动驶ADAS系统中外,还可应用于机器人和无人机防撞系统、体感和人机交互工业过程控制、爆炸/碰撞分析、安防监控、物联网、高速运动物体轨迹记录与实时分析等。