技术发展策略

为推出广义上的车载视觉技术，首先要了解汽车与驾车、乘车人员的互动方式，分为以下三个层次上的互动。

信息收集与显示：汽车作为司机感觉的延伸，收集视觉和其他相关信息，并主要通过 LCD 显示屏显示给司机。这种基本互动层次要求汽车能够通过各种传感器了解周围环境，并把采集到的数据转换为司机能够理解的信息。不过，完全由司机自己做出决定。

传递与互动：汽车做出基本决定，并针对值得注意的情况向司机提出建议，甚至可以由车辆自身采取行动。例如，监视司机的睡意并且发出警报。为了有效地实现上述目的，车辆决策技术必须针对每种可能的情况进行预编程反应。另外，它必须快速行动(快至毫秒)以便司机能够使用传递的信息。在此情况下，司机仍需根据车载视觉系统提供的建议做出决策。

自动采取行动：车辆收集并传递信息，无需司机干预即可改变操作状态。例如，在偏离车道时车辆能自行回复到正确车道。这种互动需要极高的速度、精度与机械智能水平(能够应对各种潜在情况)。

有人可能认为存在第四个层次：监督司机。此概念用于商业车辆，在使用过程中监督司机或车辆的活动，本文中对此不做赘述。

车载视觉的功能

有几十种功能被视为车载视觉应用，其中部分功能已经用于商业车队，而以下列出的功能将在未来几年被引入豪华车型中。

驾乘人员监视：如果被问及如何定义车载视觉的特点时，一般人不大可能想到汽车需要监视驾乘人员。不过这种功能很可能成为首批车载视觉应用之一，它有可能达到很好的安全效果。由于汽车的内部是一个可预测的环境，因此它可能不需要必要的推理软件，即可简单直接地实施该应用。

今年就有可能在商业车队中引入针对司机打瞌睡、注意力不集中或者走神的监视功能。驾乘人员监视功能中难度较高的一面要求汽车监视乘客的位置和坐姿，并且在发生事故时相应地释放气囊。智能气囊仍然处于研发阶段，有待几年时间进行完善。

基础设施监视：如果车辆能够识别周围的静态对象（或属于公路基础设施组成部分的对象）并且做出相应的反应，那么对于车辆驾乘人员的安全性以及司机的方便性则会大有裨益。例如，车道无处不在的反射镜中的内嵌 RFID 芯片等器件可以在汽车偏离车道时提醒司机。或者，汽车可以利用相关信息自动返回正常车道。同样，除了配备的传感器（如：上面提到的 RFID 芯片）等物体外， 汽车中安装的摄像机或者雷达等传感器也可以探测到障碍物、树木、建筑以及人员等物体。

其他属于基础设施监视类的具体应用包括：针对并排停车的停车辅助传感器（已经在欧洲投产）和后视镜摄像机，以及“盲区”摄像机，也可以用于监视其他车辆。基础设施监视的另一方面是车载视觉技术与 GPS 等现有技术的互动。了解车辆的位置有助于避免事故，例如，可以提示临近的事故或者道路危险。

监视其他车辆：由于追踪其他移动对象存在内在困难，因此此类功能与上一类功能不同。实例包括智能巡航控制（在车辆之间保持安全距离）、盲点监视、后视和夜视。

安全与取证：某些应用很难归入上述三个类别。例如用于事故重建的黑匣子已经有了某些商业应用。试验室中也正在开发帮助全自动车辆避免事故或应对碰撞情况的相关技术。

数据融合

车载视觉这个术语是指利用相机模仿人类视觉。但是，车辆面临错综复杂的环境，仅在其间分布几只“辅助眼睛”并不足以提供完全的安全和方便性。

汽车业和相关行业的工程师已经达成共识，即：各种传感器可以用于收集更全面的有用信息。除了数码摄像机外，这些传感器还包括：雷达、激光和红外线。汽车通过一种称为“数据融合”的技术收集并且传递这些传感器采集的数据。

不过，大家在短期内的注意力集中在摄像机身上，因为它具有合理的性价比并且能够有效地为司机采集并且显示信息。在未来，数据融合将成为车载视觉的重要方面。

汽车业仍然在为几方面的问题伤透脑筋，如：传感器的位置、分辨率以及传递所采集数据的智能性应当身居何处。

道路之眼

摄像机是解决车载视觉难题的显而易见的答案，而且大家推举的是数码摄像机。不过，这种简单的答案也仅此而已。CMOS 传感器出于多种原因似乎优于 CCD 传感器。除了摄像机应当采用 CMOS 还是 CCD 传感器之外，还有更重要的问题，其中包括：

每个摄像机像素需要多少位的动态范围？

摄像机的传感器需要具备多少像素？

摄像机的理想纵横比是多少？

采用彩色相机还是黑白相机？

摄像机需要每秒采集多少帧？

摄像机需要平面视觉还是立体视觉？

需要采用智能摄像机还是非智能摄像机？

这些都是需要回答的、极其重要的问题。下面是有关这些问题答案的一些想法。

目前大部分传感器的动态范围约为 8～12 位。此范围不足以充分处理车载视觉摄像机所处照明条件下的完整动态范围。对于需要处理一系列相关照明条件的情况来说，16～24 位动态范围似乎必不可少。这听起来似乎要求太高，但是如果想一想需要面向朝阳“看清”年久退色的道路标志，您就会不禁暗暗点头。

业界也在对最佳的画面分辨率（即像素数）和纵横比（即垂直和水平单元数量）争论不休。使用标准纵横比（4:3 或 16:9）的相机有可能降低短期成本，因为与数码相机所采用的相同。不过，定制的纵横比在汽车应用中可能更适宜于采集数据。另外，目前数码摄像机的分辨率一般为 500～800 万像素。将来的数码摄像机很可能会继续把分辨率提高到数千万像素。这种分辨率远远超过车载视觉的需求。对于车载视觉而言，无论是供司机使用的显示信息，还是用于影像识别的输入，100 万像素的分辨率就能够轻松地满足应用需求了。

成像器可能无需分辩颜色，因为许多应用只需黑白两色足矣，虽然辨认出前方车辆的亮灯是红色而不是白色会让人更满意一些。

早期系统可能要求每秒 5 帧或 10 帧的帧速率。不过未来应用会要求每秒 100 帧的速度，这样才能有助于在千钧一发之际做出正确决定。
立体还是平面的问题涉及摄像机的三维视觉能力。三维视觉可以带来更好的位置和速度信息。这两者对驾驶决策极为有用。就目前的理解而言，车载视觉很可能采用立体视觉摄像机。

最后谈谈汽车应配备多少部摄像机。合理的配置是在内部安装两部摄像机观察前座乘客（也可能需要两部观察后座乘客）；两部摄像机安装在后视镜前，观察道路，检查障碍物；四部安装在两侧（每侧两部），观测盲区；两部观察车尾后面的情况。这会增加许多部摄像机，以收集并处理大量的数据。

渐进的智能

对于如何最佳使用数据提出了更加复杂的选择。作为非此即彼的问题，这种选择要么是影像（和其他）数据的集中处理，要么是在摄像机模块实施的分布处理。换而言之，采用智能摄像机还是非智摄像机？答案取决于具体应用，而应用又取决于车载视觉系统实施的发展道路。

网络带宽、时延和可靠性都要求在系统周边实现尽可能高的智能性， 在摄像机内部或者附近集成 DSP 和其他处理功能，从而使其成为智能摄像机。

在摄像机内部执行影像处理算法并且发送相关信息代替原始数据应该是更好的解决方案。这样可以降低整体网络带宽和时延。另外，与整个车辆完全依赖单个处理器相比，还可以提高内在可靠性。如果摄像机需要自适应所处环境，如调整焦距、消除镜头不洁产生的影响或者通过摇动和拉近镜头搜索具体对象，摄像机内部的智能性也很有意义。

显然，随着车载视觉的逐步发展，唯一不变的事实就是不断变化。也就是说，无论DSP 位于何处，可编程性都至关重要。硬连线解决方案将无法适应不断变化的系统架构、标准与操作环境。

对于自动或半自动汽车而言，在网络节点中嵌入智能性也很重要，因为机械视觉一般需要与人类视觉不同的数据。许多情况下，实际上需要比人类视觉更少的数据。

另一方面，需要考虑各种潜在情况和可能性的推论引擎很可能需要一个主控中央处理器。通过预测系统的分阶段实施可以最合理的平衡分布处理与集中处理。

步步为营

为了取得成功，当今的 CMOS 影像与 DSP 技术必须适合目前原型车载视觉系统的复杂性及其成本，或许最重要的是获得司机的认可。系统将为司机提供视觉信息。这意味着需要实施单独应用，以将非智能摄像机与中央处理单元连接起来。分辨率达到 8～12 位的现成 CMOS 成像器可以用于保持合理的系统成本。为了节省系统带宽和降低时延，影像处理很可能会在摄像机内部执行。随着 DSP 性能的提高，将引进基本的影像识别功能。有两个方面确定无疑：目标的实现需要更高的性能，而 DSP 将不断提高性能。

因此，系列技术在 5 年之内会发生变革。专门为汽车视觉市场设计的、性能达到每秒10MMACS 的 DSP 将出现。对象识别功能中将添加简单的对象识别算法。汽车制造商将在系统层面为系统配备提供可与主控中央处理器通信的智能摄像机。专门为车载视觉设计的成像器将达到 18～20 位的分辨率，并提供专用纵横比。数据融合也将为人们所接受，软件可靠性足以帮助系统自动采取某些行动，不过，司机可以关闭系统或忽略其输入的信息。

未来 10 年，速度达到每秒 20,000 MMACS 的 DSP 将集成 CMOS 成像器的所有功能，实现超过 20 位的动态范围。虽然仍然使用中央处理器，不过同时也会使用分布式处理。车内多个系统与主机间将实现彼此通信。数据融合更趋完善，汽车实现自动行动能力，能够出手防止司机做出误操作，但问题是司机是否会允许出现这种局面。

为了实现这一先进系统，运行分部在车内各个位置的 DSP 的算法应当以极高的可靠性识别对象。汽车能够纠正司机的误操作，这种决策功能也将具备极高的可靠性。

当然，要在未来 10 年实现车载视觉技术，必须解决众多技术挑战。其中包括汽车业的可靠性和误差要求。半导体、成像器和软件无疑对汽车的工作提出了极高的要求。不过，正如汽车业和半导体业在过去证明的那样，发展的最大障碍在于缺乏想象力。因此，问题不在于“能不能实现”，而在于何时能实现，是 10 年，还是 20 年。