自动驾驶汽车应该如何感知世界,保隆科技联合

图片 1

文/田忠朝

2019年2月6日,上海保隆科技有限公司联合上海芯仑光电科技有限公司、武汉大学共同发布的汽车动态传感器。DVS采用新型的仿生原理图像传感器芯片,全时全速追踪运动物体,有效过滤冗余背景信息,输出运动物体的结构化场景信息,实现感知端预处理,减轻后端信号处理算法的复杂度,并使用更低的计算资源处理器来实现实时处理能力。保隆科技将其形容为“超眼”。

图片 2

低数据流,剔除冗余数据:道路两边静止的车辆和建筑“消失”

一直以来,自动驾驶所有运算都在决策层进行,芯片算力不足是高等级自动驾驶发展受制约的原因之一,那么能不能从感知层面减少数据流,降低芯片运算量呢?

传统图像传感器基于帧的概念,原理性的缺陷导致运动信息缺失、海量无效数据、非结构化数据输出,从而带来巨大的数据传输和存储压力、运算资源的浪费、系统整体能耗和成本的上升、以及稳定性的缺陷。

大家应该知道,高等级的自动驾驶需要多种传感器共同配合,视觉传感器也是其中之一。

DVS为L4、L5高级别自动驾驶感知系统提供了一条新的技术路线。国际上开发DVS的代表性公司包括瑞士的Inilabs、法国的Prophesee以及三星,此次保隆发布的DVS 属于自主研发,集成了芯仑科技的芯片技术和武汉大学的算法技术。相比于保隆科技当天发布的77G及24G毫米波雷达、双向前视系统、红外热成像夜视仪、驾驶员预警系统、车用人脸识别系统等产品,保隆科技汽车电子单元总监李威表示,DVS是保隆科技“引领战略”下的传感器产品,是保隆科技的技术创新,也是自动驾驶行业的技术创新。

图片 3

据芯仑科技联合创始人、CTO陈守顺博士介绍,此次发布的DVS核心技术是模仿人眼视神经,以事件为驱动原理,可如人眼一般主动看世界:

传统的机器视觉是怎样的?

· 无固定观察频率

传统摄像头通过间隔曝光,电荷量根据输入光的强度发生变化,以帧率的方式采集平面图像,将捕捉到的光学信息(包括采集点的灰度和颜色)转化成数字信号传输到决策层,实现场景的还原。

· 灵敏响应速度

图片 4

· 脉冲式信息读取和输出

这就存在几个问题,一是数据不连续,帧的方式只记录了固定时间间隔的画面,还有大量曝光盲区时间点的物体运动信息丢失,同时快速运动场景下图像也不清晰甚至没有记录到;二是输出了大量无效冗余数据,增加芯片负担,造成计算资源浪费。

· 像素电路间并行处理

图片 5

· 主动特征提取,无多余背景信息

革新:让汽车的眼睛和耳朵拥有智慧

每个像素电路独立检测光强水平,无需曝光,不受帧率约束。当光强发生变化时,便以极快的反应速度输出一个包含的事件数据。

传统摄像头把 “看到”的所有画面输出到决策层,让芯片过滤筛选有用的信息,这是一种懒办法。所有有人提出了革新,那就是从感知层解决一部分数据,让汽车传感器拥有智慧,主动对信息过滤,并对有用信息加以分析后再输出。

进出隧道瞬间,不受光照强烈变化影响,仍可捕捉路面信息

图片 6

尤需指出的是,该DVS可实现多种模式同时输出:

就像古代的皇帝和大臣,作为皇帝的“耳目”,如果大臣没脑子,一股脑把所有奏折递交给皇帝,那皇帝一定会累死;而如果大臣能主动过滤一些没用的奏折,挑选出自己不能决定的那部分交给皇帝决策,那么整个国家就能高效运转。

图像模式:与传统图像传感器一致的全副图像,兼容传统图像处理算法和硬件。

今天我们要说的是保隆发布的一款动态视觉传感器DVS,它就是这个聪明的“大臣”。

动态模式:动态特征脉冲信号通过自然光强变化的判定输出二值化的动态特征区域信息。

图片 7

光流模式:独有的密集光流模式,无需降维,从芯片上得到光流向量场信息。

保隆动态视觉传感器集成芯仑科技的芯片技术和武汉大学的算法技术,芯片模仿人眼视神经,摒弃传统图像帧率和曝光感知的方式,采用事件驱动原理,即以像素点的方式连续单独监测光强波动,仅在有光强变化时才能激发像素点进行数据输出,产生较低的数据率。

高架上行驶,完整捕捉道路标线和交通标识

图片 8

自动驾驶、尤其是L4、L5高度自动驾驶,面临大量对实时和高速处理要求高、算力不可达的场景,以及一些边缘性场景,基于上述原理和核心技术,DVS动态视觉传感器有能力解决。比如特斯拉Model S将卡车误判为白云、Uber自动驾驶车辆夜晚撞死横穿马路的行人、以及自动驾驶车辆进出隧道光强变化等场景。保隆科技汽车电子单元总监李威表示,他们将特别选取一些场景,在封闭测试场内对DVS的性能开展测试。

同时像素点的时间分辨率达到纳秒,相当于每秒几十万帧,能采集到更高速度的运动物体。动态范围高达140dB(普通相机一般都是60-70dB,车载要求达到120dB),让它也能在诸如隧道、大雾、等强弱光交替变化的环境条件下快速输出清晰图像,还能记录物体的运动矢量信息,从而预测物体运动趋势。

极暗场景下,也可清晰显示部分物体的移动

图片 9

据李威透露,当前保隆科技已完成DVS摄像头本体、处理器平台的研发集成工作,正在进行运算平台的优化,预计今年底可完成,明年将提供标准化的产品,进行小批量的量产。今年将为包括商用车、乘用车、特种车辆的合作伙伴提供定制化产品,进行装车试用。宇通客车是保隆DVS的重要合作伙伴,宇通汽车智能研究院副院长彭能岭博士出席发布会,对DVS在自动驾驶领域的应用前景、以及与保隆的合作研发均充满希望。

简单来说,你可以把它理解为青蛙的眼睛,对静态的物体视而不见,而对有相对运动的物体哪怕速度快过子弹,都能精准捕捉并预测轨迹。

动态视觉传感器能带来哪些优势?

据介绍,目前世界上做动态视觉传感器方案的公司并不多,包括瑞士的Inilabs、法国的Prophesee、三星(licensed IP)及保隆科技,前三者的传感器分辨率最大只到30万像素,而保隆科技目前做到了100万像素。

图片 10

同时它还拥有三种图像输出模式:

图片模式,与传统图像传感器一样的全幅图像,并兼容传统图像处理算法和硬件;

光流模式,从芯片上得到光流向量场信息,直接输出全分辨率运动矢量,能够对物体的运动方向和速度都有正确的预测;

动态模式,通过对自然光强变化的判定输出仿生的动态特征脉冲信号。

图片 11

通过灵活运用三种数据流对算法进行优化,在很多场景下能将运算量降级上千倍。

图片 12

举一个简单的应用案例就是,采用这种芯片技术的ADAS系统,跟传统的摄像头技术路径相比,其传感器从感知到信号到控制指令发出,时间可节省几百毫秒,对于一台时速120公里/小时的车辆而言,制动就能提前5米完成。

图片 13

所以它不但解决了自动驾驶中算力不足的问题,还能帮助系统更快、更准、更轻松地感知外部环境,作用几乎可以代替激光雷达,而成本比激光雷达低了一个数量级,只比传统摄像头贵一些,将极大降低自动驾驶系统的成本。

图片 14

法国咨询公司YOLE就将动态视觉传感器定义为L4和L5级别的自动驾驶必不可少的传感器之一。

本文由新葡萄京娱乐场手机版发布于联系我们,转载请注明出处:自动驾驶汽车应该如何感知世界,保隆科技联合

相关阅读