[发明专利]结合人眼跟踪的立体视频处理系统及方法

权利要求书

1.一种结合人眼跟踪的立体视频处理系统，其特征在于：包括图像处理单元、人眼跟踪识别单元、对应视区图像处理单元、视频输出模块和摄像头；

摄像头：作为捕捉用户影像的硬件，并将图像传给人眼跟踪识别单元；

人眼跟踪识别单元：采集摄像头的数据，计算人眼的3D坐标，并将参数传送给对应视区图像处理单元；

图像处理单元：将视频文件提取单帧，划分成N张小图，采用立体图像融合算法，得到立体图像，并将立体图像传送给对应视区图像处理单元；

对应视区图像处理单元：将人眼跟踪识别单元和图像处理单元传送过来的人眼3D坐标参数和立体图像进行对比，判断是否为3D坐标对应视区的立体图像；

视频输出模块：将对应视区图像处理单元传送过来的正确的立体图像进行播放。

2.根据权利要求1所述的一种结合人眼跟踪的立体视频处理方法，其特征在于：包括如下步骤：

步骤一：开启摄像头，捕捉用户的影像，通过图像处理技术识别人眼区域，给定人眼一个3D坐标；

步骤二：将视频文件提取单帧，划分成N张小图，采用立体图像融合算法，得到新的立体图像；

步骤三：根据3D坐标来判断新的立体图像是否是对应视区的图像融合方式，如果是则执行步骤四，否则，将3D坐标和新的立体图像打包返回到步骤二；

步骤四：输出融合后的立体图像。

3.根据权利要求2所述结合人眼跟踪的立体视频处理方法，其特征在于：所述步骤一中：人眼3D坐标是由摄像机捕捉到的二维图像坐标和摄像机标定参数给定。

4.根据权利要求2所述结合人眼跟踪的立体视频处理方法，其特征在于：所述步骤二中：调用OpenCV的图像与视频处理函数提取原视频的分辨率与帧率；步骤四中：将新的立体图像使用OpenCV将其按原始视频分辨率大小进行显示，并按原有的帧率数值控制载入帧图像的间隔时间，将其调整为原始视频文件的帧率。

5.根据权利要求2所述结合人眼跟踪的立体视频处理方法，其特征在于：所述步骤二中：图像融合的原理为：选定一个子像素(k,l)，根据多视点子像素映射的通用计算公式得到该子像素所对应的RGB分量：

N=(k-3ltanα)modXXNtot]]>

其中：N_tot表示视点数目，(k,l)表示像素点在坐标系中的位置，α表示光栅倾角，X表示片源个数，N表示像素对应某幅视点图像的序号；将得到各视点图像的子像素坐标的RGB分量带入到合成图的子像素相应的坐标处，通过循环带入，得到合成图像。