用小型载板传输 4 台相机的数据流:快速原型设计

供稿:Teledyne e2v Asia Pacific Limited

c0d83efae979f153ce1aa0affb4f0a55.jpg

嵌入式视觉组件一直很受欢迎,被众多应用所采用。所有这些应用的共同点是需要在狭小的空间内集成越来越多的功能。通常,让这些系统在边缘做出决策也是很有利的。

为了支持此类系统,包括快速原型设计的能力,Teledyne FLIR 推出了 Quartet™ 嵌入式 TX2 解决方案。这种定制的载板可在满带宽下轻松集成 4 台 USB3 机器视觉相机。它包括 NVidia Jetson 深度学习硬件加速器,预先集成了 Teledyne FLIR 的 Spinnaker® SDK。通常,让这些系统在边缘做出决策也是很有利的,尤其是在检查、移动机器人、交通系统和各种类型的无人载具领域。

640 13.59.50.png

图 1:所有四个应用程序的原型设置

在这篇非常实用的文章中,为了强调 Quartet 能够实现的功能,我们描述了开发受 ITS(交通系统)启发的原型的步骤,该原型同时运行四个应用程序,其中三个采用了深度学习:

● 应用程序 1:利用深度学习识别车牌

● 应用程序 2:利用深度学习实现车辆类型分类

● 应用程序 3:利用深度学习实现车辆颜色分类

● 应用程序 4:透过挡风玻璃观察(透过反光和眩光)


购物清单:硬件和软件组件

1)用于处理的 SOM:

用于 TX2 的新 Teledyne FLIR Quartet 载板包括:

● 4 个 TF38 连接器,配备专用的 USB3 控制器

● Nvidia Jetson TX2 模块

● 预装了 Teledyne FLIR 功能强大且便于使用的 Spinnaker SDK,以确保在即插即用情况下兼容 Teledyne FLIR Blackfly S 板级相机

● Nvidia Jetson 深度学习硬件加速器可在紧凑型单板上实现完整的决策系统

640 13.59.50.jpeg

图 2:带 TX2 的 Quartet 嵌入式解决方案,可配备 4 台 Blackfly S 相机和 4 根 FPC 电缆。


2)相机和电缆

● 3 台标准 Teledyne FLIR Blackfly S USB3 板级摄像头,采用与盒装版相同的丰富功能集,适用于比较新的 CMOS 传感器,可与 Quartet 无缝集成

● 1 台定制相机:Blackfly S USB3 板级相机,带 Sony IMX250MZR 偏振传感器

● 线缆:TF38 FPC 电缆,可用单根电缆传输电源和数据,节省了空间

640 (1) 13.59.50.jpeg

图 3:Blackfly S 板级相机,带 FPC 电缆


3)照明:LED 灯可提供充足的照明,以避免车牌的运动模糊。

应用程序1:利用深度学习识别车牌

开发时间:2-3周,主要是为了使其更加稳健,运行速度更快

训练图像:LPDNet 附带

对于车牌识别,我们通过 Nvidia 部署了现成的车牌检测 (LPDNet) 深度学习模型,以检测车牌的位置。为了识别字母和号码,我们使用了 Tesseract 开源 OCR 引擎。该相机为 Blackfly S 板级 890 万像素彩色相机 (BFS-U3-88S6C-BD),配备了 Sony IMX267 传感器。我们限制了车牌检测的侦测区域,以加快运行速度,并利用跟踪来提高稳健性。输出包括车牌的边界框,以及相应的车牌字符。

640 (2).jpeg

图 4:传输车牌边界框和车牌字符。

应用程序2:利用深度学习实现车辆类型分类

开发时间:约12小时,包括图像采集和注释

训练图像:~300

在车型分类方面,我们利用迁移学习,用三台玩具车(分别是 SUV、轿车和卡车)训练了我们自己的深度学习目标检测模型。我们采集了此设置在不同距离和角度下拍摄的约 300 幅训练图像。相机为 Blackfly S 板级 500 万像素彩色相机 (BFS-U3-51S5C-BD),配备了 Sony IMX250 传感器。我们标出了玩具车的边界框,大约耗时 3 小时。我们进行了迁移学习,以训练我们自己的 SSD MobileNet 目标检测模型,训练过程在 Nvidia GTX1080 Ti GPU 上进行,耗时半天左右。通过 GPU 硬件加速器,Jetson TX2 模块可以高效率地执行深度学习推断,并输出汽车的边界框,以及对应的车辆类型。

640 (1) 13.59.45.png

图 5:传输边界框和预设的车辆类型,以及确认的置信系数

应用程序3:利用深度学习实现车辆颜色分类

开发时间:重复利用了“车辆类型应用”中的型号,用额外 2 天时间进行颜色分类、集成和测试

训练图像:重复利用了 300 幅与“车辆类型应用”相同的图像

对于车辆颜色分类,我们运行了与上述相同的深度学习对象检测模型来检测汽车,然后在边界框上进行了图像分析,以对其颜色进行分类。输出包括汽车的边界框,以及对应的车辆颜色。相机为 Blackfly S 板级 300 万像素彩色相机 (BFS-U3-32S4C-BD),配备了 Sony IMX252 传感器。

640 (11).png

图 6:传输边界框和确认的预设颜色类型


应用程序 4:透过挡风玻璃观察(透过反光和眩光)

减少眩光对于交通相关应用至关重要,例如透过挡风玻璃观察 HOV 车道、检查安全带是否合规,甚至可以检查驾驶时是否使用手机。为此,我们将 Blackfly S USB3 板级相机与 500 万像素 Sony IMX250MZR 偏振传感器相结合,定制了一款相机。这款板级偏振相机不是标准产品,但 Teledyne FLIR 能够轻松换用不同的传感器,从而提供定制的相机选项,以展示其消眩光功能。我们只需通过 Teledyne FLIR 的 SpinView GUI 来传输相机图像流,该 GUI 提供各种“偏振算法”选项,如四通道模式、眩光弱化模式,可以在静止的玩具车上显示眩光弱化效果。

640 (2) 13.59.45.png

图 7:Spinnaker SDK GUI 提供各种“偏振算法”选项,如四通道模式、眩光弱化模式,可以在静止的玩具车上显示眩光弱化效果。四通道模式可以显示 4 个不同的偏振角度所对应的 4 幅图像。


系统总体优化

640 (3).jpeg

虽然这四个原型各自独立工作,但我们注意到,在所有深度学习模型同时运行时,总体性能相当差。Nvidia 的 TensorRT SDK 为 Nvidia 硬件(如 Jetson TX2 模块)提供深度学习推断优化器和运行时。我们用 TensorRT SDK 优化了我们的深度学习模型,使性能提升了 10 倍左右。

在硬件方面,我们将一个散热器连接到 TX2 模块,以避免过热,因为该模块在所有应用程序都运行时会相当热。我们设法在所有四个应用程序一起运行时实现了良好的帧率:车辆类型识别为 14 fps,车辆颜色分类为 9 fps,自动车牌识别为 4 FPS,偏振相机为 8 FPS。

由于 Quartet 嵌入式解决方案和 Blackfly S 板级相机的易用性和可靠性,我们在相对较短的时间内开发出了此原型。预装了 Spinnaker SDK 的 TX2 模块可确保在即插即用的情况下兼容所有 Blackfly S 板级相机,这些相机可在满 USB3 带宽下,通过 TF38 连接器实现可靠的传输。Nvidia 提供了多种工具来促进 TX2 模块的开发和优化。Quartet 现在可从 fir.com 上在线购买,也可以通过我们的办事处和全球经销商网络购买。


发布时间:2022年4月29日 14:01 人气: 审核编辑:吴新慧
更多内容请访问(Teledyne e2v Asia Pacific Limited

我有需求