[发明专利]视频帧延迟时间确定方法、设备、介质及远程驾驶系统

说明书

本发明涉及无人驾驶、自动驾驶技术领域，具体提供一种视频帧延迟时间确定方法、设备、介质及远程驾驶系统，旨在解决确定无人车远程驾驶中视频帧延迟时间的问题。为此本发明的方法可以控制无人车对摄像装置输出的视频帧进行标记形成标记帧，从无人车向远程驾驶舱实时传输的视频帧中检测标记帧；获取标记帧从无人车的摄像装置输出的时间t0以及获取标记帧在远程驾驶舱完成渲染的时间t1；将标记帧通过摄像装置曝光到输出的时间和作为第一段延迟时间，将时间t1与时间t0的时间差作为第二段延迟时间；根据第一段延迟时间与第二段延迟时间的时间和，确定视频帧延迟时间。通过上述方式，可以减小第二段延迟时间的误差，从而得到准确的视频帧延迟时间。

技术领域

本发明涉及无人驾驶、自动驾驶技术领域，具体提供一种视频帧延迟时间确定方法、设备、介质及远程驾驶系统。

背景技术

在无人车远程驾驶过程中远程驾驶舱的驾驶员需要根据无人车采集的视频帧对无人车进行驾驶控制，而为了保证无人车远程驾驶的安全性，必须实时且准确地获取视频帧从无人车采集到远程驾驶舱渲染显示出来这一过程的时间，即视频帧的延迟时间，以便于根据视频帧的延迟时间调整驾驶控制指令。如图1所示，视频帧的延迟时间主要包括视频帧曝光到将视频帧传输至编码程序的时间d0以及从编码程序对视频帧进行编码到将视频帧在远程驾驶舱完成渲染的时间d1且d1＝d2+d3+d4+d5，d2是对视频帧进行编码前的格式转换时间与编码时间的总和，d3是将编码后的视频帧传输至远程驾驶舱的时间，d4表示等待解码的时间与对视频帧进行解码的时间的总和，d5表示等待渲染的时间与对视频帧进行渲染的时间的总和。

时间d0由采集视频帧的摄像装置决定且该时间相对比较固定，时间d1的确定方法主要是通过估算得到时间d2、d4等，最后计算时间d2、d3、d4和d5的总和得到时间d1。然而这种方法在确定时间d2、d3、d4和d5都或多或少存在一定的误差，这些误差累加之后会导致时间d1存在较大的误差，从而无法得到较为准确的视频帧延迟时间。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何准确确定无人车远程驾驶中视频帧的延迟时间的技术问题的视频帧延迟时间确定方法、设备、介质及远程驾驶系统。

在第一方面，本发明提供一种无人车远程驾驶的视频帧延迟时间确定方法，所述方法包括：

控制无人车对摄像装置输出的视频帧进行标记形成标记帧，从所述无人车向远程驾驶舱实时传输的视频帧中检测标记帧；

获取所述标记帧从所述无人车的摄像装置输出的时间t0以及获取所述标记帧在所述远程驾驶舱完成渲染的时间t1；

将所述标记帧通过所述摄像装置曝光到输出的时间和作为第一段延迟时间，将所述时间t1与所述时间t0的时间差作为第二段延迟时间；

根据所述第一段延迟时间与所述第二段延迟时间的时间和，确定最终的视频帧延迟时间。

在上述无人车远程驾驶的视频帧延迟时间确定方法的一个技术方案中，“控制无人车对摄像装置输出的视频帧进行标记形成标记帧”的步骤具体包括：

控制所述无人车在所述摄像装置输出一个视频帧后将所述视频帧上预设的待检测区域的颜色属性设置成预设的标记帧对应的颜色属性，以形成标记帧；

或者，

控制所述无人车在所述摄像装置输出一个视频帧后根据所述视频帧从所述摄像装置输出的时间戳生成一个时间标识码，将所述时间标识码与所述视频帧进行拼接，以形成标记帧。

在上述无人车远程驾驶的视频帧延迟时间确定方法的一个技术方案中，“控制所述无人车在所述摄像装置输出一个视频帧后将所述视频帧上预设的待检测区域的颜色属性设置成预设的标记帧对应的颜色属性，以形成标记帧”的步骤具体包括：