[发明专利]多相机同步采集图像的方法及设备

说明书

本申请涉计算机视觉技术领域，提供一种多相机同步采集图像的方法及设备，考虑到深度相机没有硬件同步接口，无法直接接收与多个工业相机同步曝光的硬件同步信号，因此，借助LED灯实现深度相机与多个工业相机的同步曝光，通过深度相机采集的LED灯的图像，获取反应深度相机曝光信息的目标参数集合，由于工业相机具备硬件同步接口，可通过控制信号控制器将深度相机的目标参数集合发送给多个工业相机，从而实现多个工业相机与深度相机的同步曝光，这样，基于同步曝光后的深度相机和多个工业相机，采集用于训练手部关键点估计模型的3D手势数据集，从而提高3D手势数据的标注质量，进而提升手部模型的真实性，提升用户的沉浸式体验。

技术领域

本申请涉及计算机视觉技术领域，提供一种多相机同步采集图像的方法及设备。

背景技术

随着虚拟现实(Virtual Realiyy，VR)技术的发展，其应用场景越来越广泛。在虚拟场景中，通过手势技术精准地还原手部3D姿势，以准确地表达虚拟人物手部表述的含义，或者准确地做出相应的手部动作，而手势技术的延迟性、混乱性取决于神经网络模型的性能，大量的、高质量的手势标注数据是手部检测模型和手势关节点估计模型性能提升的重要支撑。

由于3D手势数据是复杂的，人工标注成本相对较高，且标注质量不尽人意。为了提高3D手势数据的标注效率，目前大多采用深度相机生成手势3D模型再投影到工业相机产生标注数据的自动标注方法，这就需要深度相机和工业相机同步曝光。然而，深度相机不具备硬件同步接口，因此，目前仅采用软同步方法实现深度相机和工业相机的同步曝光，其中，软同步是指搜集时间戳接近的一组图像作为同步结果，同步精度较低，无法满足同步曝光的3D手势数据的采集要求，进而无法还原出真实、自然的3D手部姿势，影响沉浸式体验。

因此，需要提供一种通过实现深度相机和工业相机的同步曝光来提高3D手势数据的标注质量。

发明内容

本申请实施例提供了一种多相机同步采集图像的方法及设备，用于提高3D手势数据的标注质量。

一方面，本申请实施例提供一种多相机同步采集图像的方法，包括：

通过信号控制器控制深度相机视野内的LED灯连续闪烁，并获取所述深度相机采集的所述LED灯的多帧RGB图像；

根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，并清空所述RGB图像；

控制所述信号控制器将所述目标参数集合发送给多个工业相机，并设置所述LED灯为单次闪烁；

根据所述深度相机采集的所述LED灯单次亮起的RGB图像的时间戳，以及每个工业相机采集的RGB图像的时间戳，确定所述深度相机与每个工业相机之间同步曝光的时间关系以进行图像采集。

另一方面，本申请实施例提供一种3D图像采集设备，包括处理器、存储器、USB虚拟串口，数据接口；所述数据接口、所述USB虚拟串口，所述存储器与所述处理器通过总线连接；

所述存储器包括数据存储单元和程序存储单元，所述程序存储单元存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

通过所述USB虚拟串口向所述信号控制器发送第一控制指令，以使所述信号控制器控制深度相机视野内的LED灯连续闪烁；

通过所述数据接口，获取所述深度相机采集视野内的所述LED灯的多帧RGB图像，并存储于所述数据存储单元；

根据所述深度相机采集的多帧RGB图像，确定所述LED灯与所述深度相机同步的目标参数集合，并清空所述数据存储单元中存储的所述RGB图像；