"借助​NI EVS​和​PXI​平台,​我们​通过​硬件​设计​和​软件​编​程​完成​了​此​系统​的​开发。​通过​对​车道​偏离​预警​(LDW)​功能​的​设计​与​测试,​证明​该​系统​可以​在​机器​视觉​的​辅助​驾驶​开发​中​运用。"


- 希​鹏 李, 重庆​大学​电气​工程​学院


The Challenge:
基于​机器​视觉​的​辅助​驾驶​技术​日渐​成熟,​在​中​高级​轿车​中​已经​实现​产品​化,​切实​提高​了​汽车​的​主动​安全​性能。​开发​机器​视觉​辅助​驾驶​系统​时,​需要​考虑​不同​外界​因素​的​影响,​导致​整个​系统​的​算法​复杂、​代码​繁多;​在​开发​初期,​考虑​到​安全​因素​的​影响,​系统​不可能​直接​进行​实​车​试验,​进一步​加深​了​系统​开发​的​难度。​这些​都是​开发​机器​视觉​辅助​驾驶​系统​时​面临​的​难题。​如何​更加​关注​算法​开发,​减少​代码​开发​投入,​并​能​在​有效、​可信、​可​重复​的​环境​下​测试,​以便​及时​发现​问题​并​进行​整​改,​是​机器​视觉​辅助​驾驶​系统​开发​面临​的​难点。

 

The Solution:
该​方案​主要​解决​机器​视觉​辅助​驾驶​系统​的​快速​开发​及​测试​问题。​NI​的​EVS​嵌入式​视觉​系统​适合​快速​检测​及​大型​图像​处理,​能​连接​多​架​相机,​并​实现​同步​检测。​借助​LabVIEW​编​程​语言​及​VDM​编​程​模​块​可​快速​实现​要求​的​识别​功能,​使​机器​视觉​产品​的​开发​更加​高效。​基于​NI PXI​的​仿真​测试​平台,​结合​虚拟​现实​软件​CarMaker,​通过​VeriStand​集成​整个​测试​系统,​从而​搭建​出​真实​有效​的​虚拟​测试​场景,​实现​机器​视觉​功能​的​全面、​有效​和​可​重复​的​测试。​开发​新​功能​时,​借助​NI EVS​平台​可以​快速​完成​方案​建​模​及​编​程​过程;​借助​于​基于​NI PXI​的​虚拟​驾驶​测试​平台,​既​能够​尽早​发现​产品​问题​并​进行​整​改,​又​可以​保证​测试​过程​的​安全​性。​机器​视觉​系统​与​测试​平台​的​结合,​能​进一步​提升​基于​机器​视觉​辅助​驾驶​系统​的​开发​效率。

 

1  引言
基于​机器​视觉​的​辅助​驾驶​系统​旨​在​提高​驾驶​员​的​环境​感知​能力,​通过​辅助​系统​监测​外界​环境,​并​在​非​安全​情况​及时​向​驾驶​员​发出​预警,​从而​使​人​—​车​—​路​系统​更加​稳定、​安全、​可靠,​提高​汽车​的​安全​性能。

 

开发​基于​机器​视觉​的​辅助​驾驶​系统​时,​需要​面对​以下​难点:

 

(1)​系统​算法​复杂,​代码​繁多。​机器​视觉​主要是​借助​摄像​头​采集​外界​信息​并​将​其​转换​为​数字​图像​信号​进行​处理,​面对​不同​的​外界​环境​和​检测​目的,​致使​系统​需要​处理​的​针对​点​不​一样,​因此,​使得​整个​系统​在​算法​方面​异常​复杂,​开发​过程​缓慢。

 

(2)​测试​环境​要求​苛刻。​在​系统​开发​后期,​测试​其​性能​并​进行​整​改​是​整个​研发​过程​中的​关键​步骤​之一。​相​比较​于​其他​汽车​电子​产品,​基于​机器​视觉​的​辅助​驾驶​技术​产品​在​测试​时​需要​考虑​两​点​因素:​第一,​实​车​试验​时,​驾驶​员​的​安全​是否​能够​得到​保障;​第二,​测试​过程​需要​有效、​可信、​可​从​复,​便于​及时​发现​问题​并​进行​整​改。

 

在​开发​基于​机器​视觉​辅助​驾驶​系统​过程​中,​如果​能​把​上述​难题​顺利​解决,​将​为​以后​基于​机器​视觉​的​辅助​驾驶​技术​产品​研发​做好​铺​垫,​提高​辅助​驾驶​技术​产品​的​开发​效率,​促进​辅助​驾驶​技术​产品​早日​投入​量产,​最终​提高​汽车​的​安全​性能。

 

2  设计​背景​和​设计​原则
针对​以上​在​机器​视觉​辅助​驾驶​系统​研发​及​测试​过程​中​存在​的​问题,​考虑​到​NI​公司​的​EVS​和​PXI​平台​出色​的​图像​处理​能力​及​强大​的​实​时​仿真​测试​功能,​采用​LabVIEW​编​程​语言,​通过​VeriStand​开发​平台​集成​仿真​测试​模型,​设计​了​一套​基于​NI EVS​和​PXI​的​机器​视觉​辅助​驾驶​开发​系统。

 

借助​NI EVS​平台​可以​快速​实现​基于​机器​视觉​的​辅助​驾驶​功能,​这​主要是​依托​NI EVS​平台​的​如下​特点:

 

(1)​高性能​的​多核​处理​器,​2GB RAM​适合​快速​检测​和​大型​图像​处理;

 

(2)​连接​多​架​相机​以​实现​同步​检测​(千​兆​以太​网​视觉​和​IEEE1394​标准),​可​用于​多种​驾驶​辅助​功能​的​开发;

 

(3)​高速​I/​O​通道​适合​和​工业​通信,​具有​强大​的​扩展​能力;

 

(4)​借助​视觉​生成​器​配置​实现​自动​检测,​无​需​进行​底层​驱动​和​接口​电路​的​设计​开发;

 

(5)​视觉​开发​模​块​Vision Development Module(VDM)​集成​了​大量​常见​的​机器​视觉​处理​基础​模​块,​开发​人员​将​集中​于​集成​和​应用,​快速​实现​各类​的​检测​和​识别​功能;

 

(6)​采用​图形​化​编​程​方式,​更加​便于​开发​人员​进行​复杂​算法​的​开发​和​调​试。

 

当​设计​人员​有​新的​创意​时,​运用​该​系统​可以​快速​将​创意​实现,​提高​了​系统​开发​的​效率。​其中,​视觉​开发​模​块​(VDM)​可以​让​设计​人员​更多​的​关注​不同​算法​实现​的​效果,​减少​在​编​程​方面​的​精力​投入,​通过​综合​比较,​进一步​提高​系统​的​性能。

 

借助​NI PXI​平台​可以​在​有效、​可信、​可​从​复​的​环境​下​对​系统​进行​测试,​以便​及早​发现​问题​并​整​改。​NI PXI​平台​在​以下​几个​方面​具有​独特​的​优势:

 

(1)​提供​图形​化​软件​开发​环境​和​良好​的​人​机​交互​元素,​重点​关注​应用​程序​开发,​无​需​关注​底层​驱动,​人​机​界面​易​开发;

 

(2)​良好​的​实​时​性,​保证​数据​采集​和​测试​的​时序​要求​和​实​时​性,​能够​运行​复杂​的​车辆​模型;

 

(3)​系统​可靠性、​集成​度​高,​可​扩展​性​好;

 

(4)​具有​很好​开放​性​和​扩展​性,​能够​集成​其他​软件​平台​开发​的​各种​模型。

 

综合​NI EVS​和​PXI​的​优点,​采用​LabVIEW​编​程​语言,​通过​VeriStand​开发​平台​集成​仿真​测试​模型,​开发​了​一套​基于​NI EVS​和​PXI​的​机器​视觉​辅助​驾驶​系统。

 

图​1 ​系统​设计​原理​架构​图

 

3  系统​技术​原理​和​设计​架构
针对​机器​视觉​辅助​驾驶​系统​开发​所​面临​的​难题​及​相应​的​解决​方案​可知,​设计​的​系统​应​具有​以下​两​个​功能:

 

(1)​机器​视觉​系统​的​快速​开发​与​实现。​借助​NI EVS​平台,​将​预先​设定​的​需求​功能​通过​编​程​实现,​并​保证​整个​硬件​系统​满足​功能​需要。

 

(2)​基于​机器​视觉​的​驾驶​辅助​功能​的​可信、​有效​和​可​重复​的​测试。​借助​NI PXI​平台,​搭建​一套​虚拟​测试​系统,​从而​测试​机器​视觉​开发​部分​出现​的​问题,​以便​及时​整​改,​提高​系统​安全​性能。

 

根据​上述​思想,​系统​设计​原理​架构​如​图​1​所​示。

 

如​图​1​所​示,​整个​平台​分为​虚拟​测试​系统​和​机器​视觉​系统​两​部分,​两​部分​由​各自​的​硬件​及​软件​构成。

 

在​虚拟​测试​系统​中,​PC​机​1​通过​TCP/​IP​协议​与​仿真​测试​平台​连接,​对​仿真​模型​进行​参数​配置。​仿真​测试​平台​的​主要​功能​是​运行​车辆​动力​学​模型​并​采集​虚拟​驾驶​舱​输出​参数,​仿真​测试​结果​通过​CAN​通信​的​方式​传输​到​PC​机​2,​PC​机​2​中​运行​的​虚拟​现实​软件​将​输​仿真​测试​平台​的​输出​参数​转化​为​车辆​运行​效果​并​在​虚拟​驾驶​舱​中​显示​出来。

 

机器​视觉​系统​中,​摄像​头​采集​虚拟​驾驶​舱​中的​虚拟​驾驶​场景,​通过​TCP/​IP​协议​与​视觉​处理​平台​连接,​在​视觉​处理​平台​编​程​实现​机器​视觉​功能。

 

3.1  机器​视觉​系统
机器​视觉​系统​部分​的​主要​作用​是,​设计​者​根据​事先​要​设定​的​需求,​通过​视觉​处理​系统,​编​程​实现​各类​识别​和​检测​功能。

 

机器​视觉​系统​的​核心​是​NI EVS​嵌入式​视觉​开发​平台,​借助​NI EVS​平台​的​重要​原因​之一​就是​考虑​到​LabVIEW​编​程​语言​的​简洁​直观​性​及​视觉​开发​模​块​Vision Development Module(VDM)​出色​的​图像​处理​能力。​视觉​开发​模​块​专用​于​开发​和​配置​机器​视觉​应用​程序。​它​包含​了​数百​种​函数,​可​采集​来自​多种​摄像​头​的​图像,​还​可​进行​各种​图像​处理,​包括​图像​增强、​检查​显像、​定位​特性、​识别​对象​和​测量​部件​等。​借助​EVS​硬件​平台​及​软件​编​程​环境​可以​快速​实现​设定​功能,​大大​缩短​了​开发​时间。

 

机器​视觉​系统​结构​如​图​2​所​示。

图​2 机器​视觉​系

 


​图​3 虚拟​测试​系统​结构​图

 

虚拟​现实​软件​模拟​出来​的​路​况​信息​通过​液晶​显示​器​显示​出来,​由​piA1000-60gc​摄像​头​采集​并​传​入​NI EVS-1464(Windows)​嵌入式​视觉​系统​处理,​根据​预先​设定​的​算法​程序,​完成​机器​视觉​的​功能。

 

3.2  虚拟​测试​系统
虚拟​测试​系统​的​主要​作用​是,​提供​一套​有效、​可信、​可​从​复​的​虚拟​环境,​保证​测试​过程​的​实​时​性,​便于​及时​发现​问题​并​整​改。

NI PXI​平台​可以​用​来​加快​测试​执行​时间、​提高​软件​开发​效率、​提高​处理​能力​并​增强​可​扩展​性,​从而​极大​地​缩减​机器​视觉​系统​的​开发​投入。

 

根据​以上​原则,​综合​考虑​NI PXI​平台​的​特点,​搭建​了​虚拟​测试​系统。

 

虚拟​测试​系统​结构​如​图​3​所​示。

 

NI PXI-8513​主要​采集​方向​盘​转​角​信息,​它​作为​单​端​口​软件​可​选​的​控制器​局​域​网络​(CAN) PXI​接口,​适合​在​Windows​与​LabVIEW​实​时​(Real-​Time)​操作​系统​上​的​NI LabVIEW、​NI LabWindows/​CVI​和​C/​C​+​+中​开发​CAN​应用​程序。

 

NI PXI-7841R​数字​RIO​板​卡​采集​油​门​踏板​信息,​它​提供​的​可​编​程​FPGA​芯​片,​适合​板​载​处理​和​灵活​的​I/​O​操作。​用户​可​借助​NI LabVIEW​图形​化​程序​框​图​和​NI LabVIEW FPGA​模​块,​配置​各​项​模拟​和​数字​功能。​该​程序​框​图​在​硬件​中​运行,​有助​于​直接​及时​地​控制​全部​I/​O​信号,​实现​各​项​优越​性能。

 

NI PXIe-8135​运行​车辆​动力​学​模型,​它是​基于​Intel Core i7-3610QE​处理​器​的​高性能​嵌入式​控制器,​可​用于​PXI​系统。​结合​2.3 GHz​基​频、​3.3 GHz(单​核​Turbo Boost​模式)​四​核​处理​器​和​双​通道​1600 MHz DDR3​内存,​该​控制器​非常​适合​用于​处理​器​密集​型​模​块​化​仪器​和​数据​采集​应用。

 

车辆​动力​学​模型​接收​到​方向​盘​转​角、​油​门​踏板​等​信息,​然后​车辆​模型​进行​相应​的​运动,​为了​更加​直观​的​显示​运动​效果,​车辆​动力​学​模型​的​输出​连接​到​虚拟​现实​软件​CarMaker,​结合​CarMaker​提供​的​不同​交通​场景,​进一步​提高​测试​过程​的​真实​有效性。

 

图​5 车道​线​检测​的​labview​程序

 


​图​4 车道​线​检测​算法​流程

4  软件​实现
考虑​的​整个​系统​所​具备​功能​主要​分为​两​块,​因此​软件​实现​也​分为​两​部分,​即:​机器​视觉​软件​实现​和​虚拟​测试​软件​实现。

 

4.1   机器​视觉​软件​实现
基于​机器​视觉​的​辅助​驾驶​系统​可以​实现​很多​功能,​例如​车道​线​检测、​行人​检测、​交通​信号​及​标志​牌​识别、​汽车​夜​视​系统​等。​借助​本​开发​平台,​可以​将​新的​创意​在​该​平台​通过​编​程​快速​实现,​并​进行​试验​验证。

 

下面​以​车道​线​检测​的​实现​过程​为​例​介绍​基于​NI EVS​平台​的​软件​实现。

 

车道​线​检测​的​主要​功能​是,​借助​机器​视觉​平台,​提供​车辆​在​结构​化​道路​行驶​过程​中​偏离​车道​中心​线​的​距离​及​航向​角​等​信息,​当​车辆​中​加入​车道​偏离​预警​功能​后,​可以​在​车辆​将要​偏离​车道​边界​时,​向​驾驶​员​发出​预警,​从而​保证​车辆​的​安全​行驶。

 

车辆​挡​风​玻璃​上​装​设​的​摄像​头​采集​前方​路​况​信息,​经由​EVS​嵌入式​视觉​系统​处理。​为了​保证​系统​的​实​时​性、​可靠性,​原始​视频​信息​一般​要​经过​图像​裁剪、​灰​度​化、​边缘​检测、​二​值​化、​直线​检测​等​处理,​当​连续​10​帧​图像​的​车道​线​位置​偏差​不大​时,​可以​认定​车辆​行驶​轨迹​较​为​稳定,​因此​可以​缩小​车道​线​搜索​检测​区域,​进一步​提高​系统​的​实​时​性能。​车道​线​检测​算法​流程​如​图​4​所​示。

 

图​6 车辆​动力​学​模型

 


​图​7 Veristand​系统​配置​及​仪表​显示​界面

 


​图​8 Carmaker​三维​场景

视频​裁剪​主要是​除去​天空​等​与​车道​线​检测​无关​的​图像​信息,​减少​需要​处理​的​图像​数据,​减少​无关​干扰,​提高​系统​的​实​时​性​与​准确​性。​使用​的​控​件​为​IMAQ Extract VI。

 

灰​度​化​的​功能​是,​在​不​影响​车道​线​检测​的​前提​下,​将​原始​的​彩色​图像​转化​为​灰​度​图像,​进一步​减小​需要​处理​的​数据​量。​使用​的​控​件​是​IMAQ ExtractSingleColorPlane VI。

 

边缘​检测​的​目的​是​突出​车道​线​边缘,​因为​车道​线​检测​主要是​依据​车道​边缘​的​信息。​使用​的​控​件​是​IMAQ EdgeDetection VI,​选择​的​边缘​检测​算法​为​Sobel​算法。

 

二​值​化​的​作用​是在​边缘​检测​的​基础​上​进一步​简化​图像​信息,​通过​设定​阈​值,​使​高于​阈​值​的​像​素​点​灰​度​值​为​1,​低于​阈​值​的​像​素​点​灰​度​值​为​0。​使用​的​控​件​是​IMAQ AutoBThreshold 2 VI,​选择​的​二​值​化​算法​是​inter-​class variance​算法。

 

直线​检测​就是​在​设定​的​区域​内​设定​参数​检测​车道​线。​这里​使用​的​控​件​是​IMAQ Find Edge VI,​算法​选择​Hough​变换。

 

当​连续​10​帧​图像​的​车道​线​位置​偏差​不大​时,​为​减小​数据​处理​量,​提高​系统​的​实​时​性,​可以​通过​Kalman​滤波​跟踪​车道​线​将要​出现​的​区域​(ROI),​然后​在​该​区域​进行​车道​线​检测,​减少​了​车道​线​检测​的​搜索​面积。

 

车道​线​检测​的​labview​程序​如​图​5​所​示。

 

​图​9 辅助​驾驶​系统​实物

 

​图​10 不同​路​况​车道​线​检测​效果
 

4.2   虚拟​测试​软件​实现
虚拟​测试​软件​的​功能​主要​包括​以下​三​个​部分:​车辆​动力​学​模型​搭建、​Veristand​配置​及​仪表​显示、​Carmaker​三维​场景​建​模。

 

车辆​动力​学​模型​是​整个​虚拟​测试​平台​的​基础,​搭建​出​一套​符合​实际​车辆​性能​的​模型​可以​保证​测试​过程​更加​有效​可信。​借助​MATLAB/​Simulink​搭建​的​车辆​动力​学​模型​如​图​6​所​示。

 

Veristand​在​虚拟​测试​系统​中起​集成​作用,​它​主要​完成​以下​三​个​功能:

 

(1)​将​车辆​动力​学​模型​导入​到​PXI​平台;

 

(2)​生成​虚拟​仪表,​利用​操作​界面​实​时​在​线​监​控​运行​任务​并与​之​交互;

 

(3)​配置​IO​口、​CAN​通信​数据​连接​关系。

 

Veristand​系统​配置​及​仪表​显示​界面​如​7​所​示。

 

Carmaker​三维​场景​可以​把​车辆​模型​的​输出​以​运动​的​效果​显现出来。​Veristand​通过​CAN​通信​的​方式,​将​车辆​模型​的​输出​数据​传递​给​Carmaker​软件,​Carmaker​搭建​不同​的​路​况​环境,​使​测试​过程​更加​多样​化。​Carmaker​三维​场景​如​图​8​所​示。

 

虚拟​测试​部分​的​软件​将​采集​到​的​油​门、​方向​盘​等​信息​传输​给​在​PXI​中​运行​的​车辆​动力​学​模型,​车辆​模型​仿真​的​动态​效果​在​虚拟​现实​软件​CarMaker​中​显现出来。​其中,​车辆​动力​学​模型​在​MATLAB​中​搭建,​通过​仿真​测试​平台​VeriStand​对​模型​配置,​借助​PXI​平台​的​优越​性,​使得​仿真​测试​过程​更加​流畅,​实​时​性​更高。

 

5  集成​和​应用
将​EVS​部分​及​PXI​部分​的​硬件​和​软件​分别​集成​到​一起,​完成​基于​NI EVS​和​PXI​的​机器​视觉​辅助​驾驶​系统​开发。​其实​物​如​9​图​所​示。

 

下面​结合​车道​线​检测​的​开发,​介绍​基于​机器​视觉​辅助​驾驶​技术​平台​的​运用。

 

在​CarMaker​中​搭建​不同​的​路​况,​在​机器​视觉​系统​通过​编​程​设计,​部分​检测​结果​如​图​10​所​示。

 

其中​图​a​路​况​信息​最​简单,​不存在​干扰​情况,​图​b​中​存在​一个​十字路口,​图​c​中​存在​道路​交通​标志,​图​d​中​出现​了​弯​道。​从​图​10​可以​看出,​在​无​干扰​情况​下,​可以​正确​的​检测​出​车道​线,​当​存在​十字路口、​交通​标志​时,​依然​能​检测​出​车道​线,​当​存在​弯​道​情况​时,​无法​准确​检测​出​车道​线,​这​主要是​在​车道​线​检测​算法​中​未​考虑​曲线​检测​的​算法​所​致,​需要​在​后​续​的​开发​过程​中​完善。

 

6   结论
针对​基于​机器​视觉​的​辅助​驾驶​系统​开发​面临​的​难题,​在​分析​系统​需求​的​基础​上,​借助​NI EVS​和​PXI​平台,​通过​硬件​设计​和​软件​编​程,​完成​了​此​系统​的​开发。​通过​对​车道​偏离​预警​(LDW)​功能​的​设计​与​测试,​证明​该​系统​可以​在​机器​视觉​的​辅助​驾驶​开发​中​运用。

 

该​系统​充分利用​了​NI EVS​平台​出色​的​图像​处理​能力​及​PXI​平台​强大​的​仿真​测试​功能。​在​机器​视觉​功能​开发​阶段,​EVS​的​硬件​平台​及​软件​资源​可以​帮助​设计​者​快速​完成​建​模​及​编​程​等​步骤,​缩短​了​研发​的​周期。​PXI​平台​的​可靠性​高,​现场​能力​强,​实​时​性​好,​软​硬件​集成​度​高,​可​扩展​性​好​等​特点,​在​有限​投入​下,​实现​了​机器​视觉​驾驶​辅助​系统​的​虚拟​测试。​EVS​平台​和​PXI​平台​的​兼容​性​好,​两者​结合,​加快​了​机器​视觉​辅助​驾驶​技术​从​创意​到​产品​的​实现​过程,​并​为​其​早日​投入​量产​进而​提高​汽车​主动​安全​性能​打下​基础。