[发明专利]一种并行虚拟视点合成方法

说明书

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别涉及一种并行虚拟视点合成方法。

背景技术

自由视点视频(FTV)可以为用户提供任意视点的场景图像，从而极大地增强用户的视觉体验效果，因而具有广阔的发展前景。随着移动互联网时代的来临，越来越多的娱乐媒体活动慢慢地从PC机转移到了以手机、平板为代表的移动终端上。这种终端一个显著的特征是其内嵌的多核技术，大大增加了手机等移动终端的运行速度。如果能在移动终端上实现FTV，那么其中蕴含的价值不仅仅是经济意义，而且将极大地普及3D技术。

为了重建高质量的任意视点图像应用于FTV，MPEG组织开发了VSRS(View Synthesis Reference Software)参考软件,此软件用两个参考视点纹理图和相应的深度图作为输入来生成一个合成的虚拟视点。VSRS一个致命的缺点是耗时非常长，其虚拟视点合成速度大约是2帧/秒，远小于实时播放下要求的30帧/秒。这就造成了VSRS在现实中的应用受到了限制。

发明内容

本发明的目的在于解决上述现有技术存在的技术问题，提高虚拟视点的合成速度。

为此，本发明提出一种并行虚拟视点合成方法，包括：

对读入的输入帧进行分割，让各个线程分别对不同的图像块进行并行的视点合成，然后将各个子线程产生的虚拟视点图像进行拼接，产生一个完整的虚拟视点图像输出。

优选地，所述方法包括：根据当前帧线程之间的负载情况调整下一帧的分割高度来达到负载均衡，所述调整包括以下步骤：

根据每个线程时间与平均线程时间之差，计算帧内每个分割高度调整所对应的时间，然后以行为单位向上或者向下搜索，补偿此时间进而算出调整高度，实现负载均衡，其中，每个线程的视点合成包括参考视点向虚拟视点的映射和左右映射图像的融合，将参考视点向虚拟视点的映射所用的时间和左右映射图像的融合所用的时间之和作为各个线程时间。

优选地，通过以下方式确定每个线程时间：

确定参考视点向虚拟视点的映射所用的时间为：

T_{ForwardWarp()}＝k₁·Width·height·2，其中Width为线程对应的图像块的宽度，height为线程对应的图像块的高度，

确定左右映射图像的融合所用的时间为：

TMerge()=k2·Σi=1heightNumber_nonholes[i],]]>其中Number_nonholes[i]是线程对应的图像块中第i行的非空洞数目，是线程对应的图像块中所有的非空洞数目之和，

确定执行此图像块的线程时间为：