[发明专利]相机与毫米波雷达数据的同步采集装置、方法及存储介质

说明书

本发明涉及数据采集领域，具体地说是一种相机与毫米波雷达数据的同步采集装置、方法及存储介质，通过文字识别网络识别相机画面中的秒级时间码，根据两帧之间的时间间隔测定出毫秒级的时间戳，然后利用时间同步方法将两个传感器的数据进行同步，得到同一时刻的相机与毫米波雷达数据对，解决了现有技术中存在的相机与毫米波雷达数据同步难度大的技术问题，该发明无需其他辅助物，达到了以较低的成本实现的高精度数据同步的效果，扩大了适用范围。

技术领域

本发明涉及数据采集领域，具体地说是一种相机与毫米波雷达数据的同步采集装置、方法及存储介质。

背景技术

随着时代的发展，传感器技术的进步，机器人搭载了越来越多的传感器，通过不同的传感器来获取不同的信息，机器人对环境的感知能力也在逐渐提高，但是传统的单传感器获取的信息单一，不足以支持机器人去处理更加复杂的事情，所以，多传感器融合成了如今主流的趋势。

毫米波雷达和视觉图像是自动驾驶中获取环境信息的两大主要手段。虽然视觉图像在提供大量细节信息方面具有优势，但其性能可能会在恶劣的天气条件和低照度下产生影响。此外，帧间速度估计技术的鲁棒性是有问题的，尤其是当涉及距离速度向量时，即垂直于图像平面的速度向量。另一方面，毫米波雷达检测结果自带距离速度信息，不受天气或照明干扰。因此，将毫米波雷达数据合并到相机图像中的融合方案在自动驾驶应用中至关重要。

目前，相机输出RTSP流，但是没有附带RTCP流，也就无法使用SR packets来得到每一帧的时间戳。相机RTSP流的输出存在延迟，且不可忽略，其实时性远不如毫米波雷达报文，无法直接使用接收到的时间作为其帧生成时间，而后续融合时又需要两个传感器的数据进行时间同步。

发明内容

为了弥补现有技术的不足，本发明提供了一种相机与毫米波雷达数据的同步采集装置、方法及存储介质，以解决现有技术中相机与毫米波雷达数据同步难度大的问题。

本发明解决上述技术问题，本发明提出一种相机与毫米波雷达数据的同步采集装置，所述相机与毫米波雷达数据的同步采集装置包括相机、毫米波雷达、NTP时间同步服务器、数据处理装置及交换机；其中：

所述相机，用于采集图像数据；

所述毫米波雷达，用于采集可探测范围内的物体的位置与速度信息；

所述NTP时间同步服务器，用于相机和毫米波雷达两者内部时钟的时间同步；

所述数据处理装置，用于读取相机拍摄的图像数据和毫米波雷达采集的数据，并进行数据同步与后续处理；

所述交换机，用于各设备之间的数据通信。

优选地，所述相机为网络相机，能够输出RTSP码流，画面中有OSD形式的字符叠加显示，其上存在秒级的时间码；

所述数据处理装置，通过时间同步的方式获取相机与毫米波雷达的同步数据。

本发明还提出一种相机与毫米波雷达数据的同步采集方法，所述相机与毫米波雷达数据的同步采集方法包括以下步骤：

所述相机采集图像数据；

所述毫米波雷达采集可探测范围内的物体的位置与速度信息；

所述NTP时间同步服务器为相机和毫米波雷达提供两者内部时钟的时间同步；

所述数据处理装置读取相机拍摄的图像数据和毫米波雷达采集的数据，并进行数据同步与后续处理；

所述交换机为各设备提供数据通信。

优选地，所述相机为网络相机，能够输出RTSP码流，画面中有OSD形式的字符叠加显示，其上存在秒级的时间码；

所述数据处理装置通过时间同步的方法获取相机与毫米波雷达的同步数据。