[发明专利]一种集成成像显示系统中实现动态手势识别与控制方法

说明书

一种集成成像显示系统中实现动态手势识别与控制方法属图像处理技术领域，本发明利用光场相机的图像采集系统、图像采集服务器端、三维立体图像的显示系统、显示系统的服务器端和动态手势识别系统，首先进行光场图像的采集，再对所拍摄视点进行图像分割和虚拟试点生成，三维重建后对立体图像进行显示，最后对控制图像的手势进行识别和训练；本发明能克服观看三维场景需佩戴3D眼镜等所造成的视觉疲劳、需借助设备控制图像的移动等问题，达到在集成成像显示系统中实现动态手势识别和控制三维图像的效果。

技术领域

本发明属图像处理技术领域，具体涉及一种集成成像显示系统中实现动态手势识别与控制方法。

背景技术

当今社会，人们观看大屏幕三维内容和场景的需求与日俱增，如观看3D电影、3D游戏体验等等。然而，许多3D电影都是使用复杂的3D视频捕捉和立体摄影技术制作的。在观看3D图像或视频时，视觉疲劳和不适仍然是不令人满意的体验，而且大部分场景观看者还要佩戴厚重的3D眼镜，这一系列问题阻碍了3D服务的广泛推广。另外，计算机人机交互技术已经取得一定成就，而体感识别技术也渐渐在人机界面中发挥着非常关键的作用及价值。体感手势识别技术是体感识别技术的主要技术，其操作方式非常灵活，并且和人类思维更加契合，和人类的使用习惯更加贴近，是现今相关领域的研究重点。

发明内容

针对目前已有技术存在的缺陷，如观看三维立体图像时配戴眼镜的不适感，以及无法随意控制三维立体图像的移动，提供一种集成成像显示系统中实现动态手势识别与控制方法。

本发明的一个目的在于克服观看三维场景需要佩戴3D眼镜等设备所造成的不适感以及视觉疲劳等问题，所提出的方法为裸眼3D提供了可能并提供了一套完整的流程。

本发明的另一个目的在于，使手势的控制无需借助鼠标等其他外部设备，只需在空中做出手势即能控制三维物体的移动。

本发明的一种集成成像显示系统中实现动态手势识别与控制方法，包括下列步骤：

1.1使用相机阵列对人或静物进行图像采集，包括下列步骤：

1.1.1服务器6端利用相机标定软件Calibration获取16台相机2的内部参数，对偏离位置的相机进行手动微调，微调结束后再次对相机阵列进行标定；

1.1.2拍摄对象要站立或坐在舞台4正中央，上肢能随意移动，目视前方，然后，启动StreamPix软件进行图像采集；

1.1.3调用畸变校正软件VideoDistortion对图像或者视频进行畸变校正，校正后的图像以bmp文件格式存储为16个视点图像；

1.2对所拍摄的16个视点图像进行前景分割与深度估计，包括下列步骤：

1.2.1使用全卷积神经网络FCN，对视点图像直接进行像素级别的语义分割，基于CNN来实现；

1.2.2采用基于EPI的光场深度估计方法，首先提取图像阵列的EPI，构建并最小化能量函数优化深度图，以得到最终的深度图；

1.3对深度估计后的视点图像进行三维重建，在得到视点图像深度图后，通过由图像坐标系--世界坐标系的坐标转换得到点云图像，变换的约束条件为相机的内参，公式如下：

其中：x,y,z为点云坐标系；x′,y′,z′为世界坐标系；D为深度值，在得到点云数据后，想要得到更直观的三维模型，需使用贪婪投影三角化算法将点云三角网格化，贪婪投影三角化算法的步骤如下：

(1)选取投影平面z＝0，将散乱点云投影至该平面；

(2)使用Delaunay生长算法构造平面三角网；