自动驾驶始于车辆如何感知三维世界。

自动驾驶的一项基本任务是环境感知——在飞行中解读一个不断变化的三维世界。

车辆将使用什么方法来理解和回应它的周围环境?系统如何感知深度,尤其是在运动中?如果它路径上的物体是完全陌生的呢?这意味着,如果系统没有经过训练来识别它前进道路上的特定障碍,会怎么样?

自主的传统方法是使用深度传感技术的组合:激光雷达和雷达是最常见的(配合GPS,加上极其精确的地形地图)。利用相机数据进行深度估计在业内也很流行;然而,顾名思义,这种技术提供的是距离的估计,而不是精确的测量。立体声另一方面,相机能够提供精确的距离测量,可以为自主应用提供显著的优势。188betios下载

为什么立体视觉对自主很重要?

立体视觉是自主系统中视觉感知、运动预测和路径规划的重要组成部分。而激光雷达,另一种常用的技术,为测量距离,也能够准确的3D对象检测,和188bet手机网页版登录单眼相机可以用于推断或预测与深度相关的信息,立体视觉在提供三维环境的高度详细和精确的360度理解方面具有独特的优势。

让我们看一个简单的例子。下面的视频展示了一个简单的场景:两个人来回传球。请注意,立体摄像机可以有效地感知环境中的小细节,包括球员的四肢以及球本身的动态运动。考虑一下这些物体的大小:一个足球的直径大约是9英寸(22厘米),而人类脚踝的平均直径只有4英寸(10厘米)。还要注意相机与玩家之间的距离——大约30英尺(10米)。

虽然上面的剪辑中描绘的场景不像典型的道路场景那样具有挑战性——那里的照明条件可能会有很大的变化,车辆、行人、自行车、碎片和其他障碍是正常的——我们的立体视觉解决方案也被设计用于在复杂的环境中有效运行。

下面这张截图是用安布拉瑞拉的一辆自动EVA汽车上的立体模块拍摄的,我们可以看到一个城市十字路口的图像,里面有车辆、行人、自行车,还有路边的护栏和路标等障碍物。

点击放大图像。

比较大的立体观察视图和右下角的嵌入图像,我们可以明显区分左边的路标,行人在人行横道上,附近的自行车,两个从左边最近的车辆进入路口,以及背景元素在路的两边。注意,立体视觉图中的颜色表示距离,较暖的颜色(如橙色)表示距离车辆较近,较冷的颜色(如紫色)表示距离较远。另一方面,inset视图中3D边框的颜色表示对象类型字体车辆用绿色标出,行人用蓝色标出,自行车用白色标出。

具有挑战性的光线条件下的立体效果。

一个基于立体声的解决方案要在道路上有效,它需要在各种照明条件下保持准确性。让我们以夜间驾驶为例。在黑暗中基于立体声的障碍检测(检测积极的和消极的障碍,如坑洞)需要健壮的深度估计,包括差距有效性的衡量成功。下面的视频展示了Ambarella在光线非常弱的情况下的立体视觉处理能力。

在上面的视频中,左下象限显示了一个立体的密集视差视图。和之前的截图一样,这个视图中的颜色代表距离;然而,配色方案是不同的。在这种情况下,紫色表示接近,红色表示遥远,其余的颜色表示两者之间的不同范围。

当多个输出从短期和远程立体摄像机模块结合,它是可能的可视化环境在惊人的细节通过密集点云的产生,如下面的视频所示。

Ambarella如何使用我们车上的立体摄像机产生的数据?

  • 深度映射:创建深度地图可以检测场景中的通用对象(从车辆和行人到柱子、垃圾桶、坑洞和碎片),包括它们的精确大小、位置和距离,而不需要系统进行明确的训练。
  • 道路建模:不同的道路形状可以精确建模,帮助下坡和上坡机动。
  • 数据融合:由于颜色相关信息与深度数据是由同一传感器提供的,因此可以同时运行单眼算法(例如,通过CNNs检测车道标记或交通标志),然后将这些数据与深度图融合。
  • 360度的可视化:立体摄像机可用于与鱼眼镜头短距离感知,使在低速机动期间的场景360度视图。

点击在这里浏览更多有关电脑视觉晶片的资料。

请提供更多信息联系我们