[发明专利]一种多视点立体视频字幕处理方法

说明书

技术领域

本发明涉及立体显示技术，具体的说是涉及一种多视点立体视频字幕处理方法。

背景技术

与二维视频显示相比，立体视频显示与人的视觉特征更加匹配，使得人们在观看图像时富有立体感和沉浸感。目前，立体电视主要分为眼镜式和裸眼式两种，其中眼镜式立体显示主要以主动快门式和被动偏光式为主，裸眼式主要分为视差屏障式、柱状透镜式等。眼镜式立体技术主要集中在消费级市场，如立体电视、立体投影等，裸眼式立体技术由于技术及成本因素，目前主要于机场、展览等商用显示及小尺寸消费电子产品。裸眼式立体显示技术因为不需要额外的设备即可让观众欣赏到立体效果，因而受到了消费者的普遍期待和各国厂家的重视，正成为下一代立体显示的发展方向。

对于大尺寸的裸眼立体电视通常为多视点自由立体显示方式，这就要求视频信号源为多视点视频。多视点视频是指由位置不同的多个摄像机在相同时刻对相同场景进行拍摄时产生的多个视图的序列，一个视图对应一个视点，目前多视点视频通常采用立体建模制作或双目立体视频转多目立体视频方式产生。

由于多视点立体视频的字幕处理和平面视频及双目立体视频字幕处理方法均不同，现有的立体播放设备往往还不支持常见的字幕文件。针对多视点立体视频的字幕处理方法，目前还没有统一的标准和规范。如果采用手动方式往多视点立体视频序列中依次插入透明字幕图片的方法进行立体字幕的叠加，工作量非常巨大且深度感不易调整和测试。因此，在制作高质量的多视点立体视频的内容过程中，如何对字幕信息进行处理是裸眼立体内容制作的一个研究热点。

发明内容

本实发明所要解决的技术问题是，提出一种多视点立体视频字幕处理方法，用于多视点立体视频的字幕生成和叠加，提高字幕显示品质，使观看者在观看多视点立体视频中拥有更好的字幕效果体验。

本发明解决上述技术问题所采用的技术方案是：一种多视点立体视频字幕处理方法，其特征在于，包括以下步骤：

a.记录多视点立体视频视点数，获取多视点立体视频中单路视频图像的分辨率，确定字幕显示区域的位置，保证字幕信息能在该区域完全显示；

b.读取多视点立体视频内容，获取任意一对相邻视点的视频信号；

c.读入字幕文件，获得每一次字幕显示的时间信息，将每次字幕显示时对应的相邻左右路视点首副图像放入到缓冲区以待分析；

d.对字幕显示区域进行立体图像像素匹配，获得相邻左右路图像的最大视差信息，确定插入多视点立体视频各视点字幕的视差数据；

e.读入字幕文件，根据各视点字幕的视差数据进行字幕的叠加，将字幕压缩到多视点立体视频内容之中；

f.根据字幕文件中字幕显示的时间区域持续插入立体字幕信息并与多视点立体视频内容一起进行编码，当遇到新的字幕文件时，返回步骤c。

进一步的，步骤f还包括：当检测到所有字幕信息显示结束时，仍须对后续未编码的多视点立体视频内容进行编码。

具体的，所述多视点立体视频内容为已拼接的多视点立体图像，则步骤a还包括：对多视点立体视频各视点图像进行分离。

更具体的，所述步骤a中，在获取单路视频图像分辨率的过程中，对于水平或垂直方向有分辨率损失的图像进行分辨率还原，得到单路信号的全分辨率图像序列。

进一步的，所述步骤b中，多视点立体字幕显示区域为多视点立体视频内容画面的下方矩形区域。

具体的，步骤d中，对字幕显示区域进行立体图像像素匹配，获得相邻左右路视点图像的最大视差信息的具体方法为：假设该字幕显示区域的水平像素宽度为M，则可将该区域分为个NxN的子块；假设左路图像中的某个NxN块的左上角像素点的坐标为(x_i，y_i)，经过与相邻右视点立体图像像素匹配后，对应右路图像匹配块的左上角像素点的坐标为记如果d为正，则该子块位于立体显示屏外，如果d为负，则该子块位于立体显示屏内；

依次对左路图像字幕显示区域各子块进行立体图像匹配，记录左路子块及其相邻右路匹配块的左上角像素点的横坐标之差的最大值dmax，假设多视点立体视频的视点数为n，则有：

当dmax＞0时，相邻视点字幕的视差数据为：

ds＝(1+k)dmax，其中k的取值在0.10～0.15之间；

以多视点立体视频中最左路视频为参考，则从左往右第i路视频与最左路字幕信息的视差数据为：

ds＝(i-1)(1+k)dmax，(i≤n)；