[发明专利]用于塔吊辅助操作的现场全景视频采集方法

权利要求书

1.一种用于塔吊辅助操作的现场全景视频采集方法，其特征在于，包括：

在塔吊中控室内安装至少两个摄像头，用于采集所述中控室内不同方向的视频并发送给全景视频模拟器；

所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备；

所述用户根据所述模拟的塔吊中控室的驾驶现场视频图像，操作和控制塔吊操作模拟器，以将塔吊操作指令发送给程控计算机；

所述程控计算机将所述塔吊操作指令通过无线命令发射模块发送给无线命令接收模块，并传输给塔吊中控室的控制器；

塔吊中控室的控制器根据所述塔吊操作指令控制所述塔吊，以执行相应的塔吊施工任务；

所述在塔吊中控室内安装至少两个摄像头，用于采集所述中控室内不同方向的视频并发送给全景视频模拟器，包括：

在塔吊中控室内安装至少六个摄像头，所述六个摄像头分别对准驾驶座位的前、后、左、右、上、下六个方位；

所述六个摄像头采集所述六个方位的视频并通过有线或者无线的方式发送给全景视频模拟器；

所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备，包括：

通过六个摄像头的视频在深度为无穷远处的六个图像，计算图像变换矩阵，获得深度为无穷远处的参考平面图像变换矩阵；

将其它深度信息值标定多个不同的深度等级，获得每个深度等级所对应的深度信息值处的平面图像变换矩阵；其中，深度信息值是指物体到成像平面的距离；

利用所述的参考平面图像变换矩阵，将六视频在深度为无穷远处的六个图像进行几何变换，获得合成图像，作为参考全景图像；

计算六个视频的重叠区域的当前深度信息值，根据所述的当前深度信息值对应所述的深度等级以及对应的平面图像变换矩阵，获得合成图像，作为重叠区域全景图像；

将所述重叠区域全景图像和所述参考全景图像进行混合渲染，形成当前的全景视频图像；

将全景拼接后的视频发送给用户佩戴的虚拟现实设备。

2.根据权利要求1所述的方法，其特征在于，

所述塔吊进一步包括运输车，所述运输车能够承载所述塔吊的主体并根据所述程控计算机的指令进行相应移动，以执行相应的塔吊任务。

3.根据权利要求1所述的方法，其特征在于，

所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备，包括：

采用同态滤波、直方图均衡化和最小二乘法滤波算法对所述中控室内不同方向的视频图像进行图像增强处理；

根据预设查找表文件和图像增强后的所述中控室内不同方向的视频图像进行图像拼接；根据所述查找表文件，以所述中控室正前方的摄像头图像为基准建立坐标系，将其他方向的摄像头图像变换到所述坐标系中，完成图像的拼接；

根据拼接后的所述中控室内不同方向的视频图像和预设融合算法，对相邻摄像头的图像拼接接缝处进行融合；

将全景拼接后的视频发送给用户佩戴的虚拟现实设备。

4.如权利要求1所述的方法，其特征在于，

所述全景视频模拟器根据所述中控室内不同方向的视频进行全景拼接，模拟塔吊中控室的驾驶现场视频图像，并发送给用户佩戴的虚拟现实设备，包括：

(1)对全景视频模拟器进行初始化，全景视频模拟器使用同一配置线同时对多个摄像头的每个进行配置；(2)通过现成可编程门阵列分时段分别读取每块摄像头的视频数据；(3)进行图像畸变校正；(4)通过现成可编程门阵列进行图像配准拼接；(5)进行图像融合；(6)将全景拼接后的视频发送给用户佩戴的虚拟现实设备。

5.根据权利要求1-4任一项所述的方法，其特征在于，

所述塔吊操作模拟器，包括模拟塔吊操作的开关、按键、仪表、指示灯及操纵杆。