[发明专利]结合人眼跟踪的立体视频处理系统及方法

说明书

技术领域

本发明属于显示技术领域，具体涉及一种结合人眼跟踪的立体视频处理系统。

背景技术

现有的多视点合成软件主要是基于多视点图片进行合成的，立体视频播放器较少。现有的一种常见的立体播放器可以对立体视频做处理，但是仅限于特定某视点的片源，例如WES TECHNOLOGIES公司的WES3DPlayer，可实现较好的立体视觉，但仅支持8视点的特殊格式的视频。

而且常见的立体播放器只是对片源进行播放，观看者需要在屏幕前移动位置以找到合适的视角。在寻找视角的过程中，由于视区的变换，观看者能看到明显的串扰。

另外一种常见的播放器通过两视点转多视点的方式扩大视角，将输入的两视点片源通过深度图重构生成虚拟多视点图像。观看者在屏幕前可以看到更大角度的立体视区。这种视频处理方式算法复杂，对计算准确性要求较高。

发明内容

为了克服现有技术的不足，本发明提供一种结合人眼跟踪的立体视频处理系统及方法，基于自由立体显示图像融合算法与人眼跟踪算法的立体视频处理系统，根据人眼位置的不同，将立体视频投放到对应视区，消除图像串扰。

本发明的技术方案是：一种结合人眼跟踪的立体视频处理系统，包括图像处理单元、人眼跟踪识别单元、对应视区图像处理单元、视频输出模块和摄像头；

摄像头：作为捕捉用户影像的硬件，并将图像传给人眼跟踪识别单元；

人眼跟踪识别单元：根据图像处理技术识别人眼区域，计算人眼的3D坐标，并将参数传送给对应视区图像处理单元；

图像处理单元：将视频文件提取单帧，划分成N张小图，采用立体图像融合算法，得到立体图像，并将立体图像传送给对应视区图像处理单元；

对应视区图像处理单元：将人眼跟踪识别单元和图像处理单元传送过来的人眼3D坐标参数和立体图像进行对比，判断是否为3D坐标对应视区的立体图像；

视频输出模块：将对应视区图像处理单元传送过来的正确的立体图像进行播放。

一种结合人眼跟踪的立体视频处理方法，包括如下步骤：

步骤一：开启摄像头，捕捉用户的影像，通过图像处理技术识别人眼区域，给定人眼一个3D坐标；

步骤二：将视频文件提取单帧，划分成N张小图，采用立体图像融合算法，得到新的立体图像；

步骤三：根据3D坐标来判断新的立体图像是否是对应视区的图像融合方式，如果是则执行步骤四，否则，将3D坐标和新的立体图像打包返回到步骤二；

步骤四：输出融合后的立体图像。

所述步骤一中：人眼3D坐标是由摄像机捕捉到的二维图像坐标和摄像机标定参数给定。

所述步骤二中：调用OpenCV的图像与视频处理函数提取原视频的分辨率与帧率；步骤四中：将新的立体图像使用OpenCV将其按原始视频分辨率大小进行显示，并按原有的帧率数值控制载入帧图像的间隔时间，将其调整为原始视频文件的帧率。

所述步骤二中：图像融合的原理为：选定一个子像素(k,l)，根据多视点子像素映射的通用计算公式得到该子像素所对应的RGB分量：

其中：N_tot表示视点数目，(k,l)表示像素点在坐标系中的位置，α表示光栅倾角，X表示片源个数，N表示像素对应某幅视点图像的序号；融合的原理是，将序号为N的视点图像中对应的子像素(k,l)坐标的RGB分量带入到合成图的子像素(k,l)的坐标处。通过循环带入，将得到各视点图像的子像素映射表后合成的图像。

本发明有如下积极效果：1.本发明可以将多视点拍摄的视频在自由立体显示器上播放。使用户不戴3D眼镜也能观看到3D立体视频。该软件播放立体视频能看到明显立体效果。2.由于加入了人眼跟踪技术，使用户不用主动寻找合适的3D视区，软件会自动根据用户人眼位置投放对应视区的立体画面。用户在屏幕前移动时，图像会随着用户眼部位置实时调整，用户不会察觉到观看内容的变化，始终看到的是最初看到的对应视点的内容，借此减轻了图像串扰。3.该装置算法处理速度快，能实时的对多视点图像进行融合，同时根据人眼的移动同步调整对应视区的图像，计算过程几乎无延时，播放流畅，可以与原视频的播放速度一致。

附图说明

图1为立体视频播放器结构图；

图2为立体视频处理流程图。

具体实施方式