[发明专利]生成图像信号的装置和方法

说明书

一种根据场景的多幅图像生成图像信号的方法执行根据一组(先前)被包括图像生成(505)针对一组候选图像的预测图像的迭代。响应于预测质量而从一组候选图像选择(509)一组选定的图像。针对每幅选定的图像，像素的子集响应于针对图像的像素的像素预测质量而被确定(511)，并且对应于选定的图像的一组部分图像通过选择(511)像素的子集来生成(513)。从候选组删除选定的图像，并且部分图像被添加到被包括组。所述方法可以提供表示场景的图像数据的低复杂性和低资源选择。

技术领域

本发明涉及一种用于生成图像信号的装置和方法，并且特别地但非专有地涉及包括针对相同场景的多幅图像的图像信号的生成和/或处理。

背景技术

图像和视频应用的种类和范围近年来已经实质上随着利用和消耗视频的新服务和方式被连续开发和引入而增加。

例如，日益流行的一个服务是以观察者能够主动地并且动态地与系统交互以改变绘制的参数这样的方式提供图像序列。许多应用中的非常吸引人的特征是能够改变观察者的有效查看位置和查看方向，诸如例如允许观察者在呈现的场景中移动和“环视”。

这样的特征可以特别地允许虚拟现实体验被提供给用户。这可以允许用户在虚拟环境中例如(相对)自由地到处移动并且动态地改变他的位置并且他在看何处。通常，这样的虚拟现实应用基于场景的三维模型，其中，模型动态地评价以提供特定请求视图。该方法从例如用于计算机和控制台的游戏应用(诸如在第一人称射击的类别中)众所周知。

还期望的是，特别地针对虚拟现实应用，呈现的图像是三维图像。实际上，为了优化观察者的沉浸，用户将呈现的场景体验为三维场景通常是优选的。实际上，虚拟现实体验应当优选地允许用户选择他/她自己的位置、相机视点和相对于虚拟世界的时刻。

大量的虚拟现实应用是固有地有限的，其中，其基于场景的预定模型的存在并且通常基于虚拟世界的人工模型，诸如例如用于游戏应用。

然而，能够提供允许用户体验现实世界捕获的虚拟现实体验是期望的。这样的应用包括例如允许用户自由改变现实世界场景的表示中的位置和视图方向的应用。然而，在许多情况下支持这样的自由的要求难以满足，诸如特别地在现实世界场景也是动态改变并且特别地实时场景的情况下。例如，提供足够的数据以允许用户自由移动和改变对应于例如体育赛事的实况实时广播的场景的视图方向通常是不实际或不可行的。因此，用户具有移动和/或视图方向的有限自由度的应用和体验正受到增加的兴趣。例如，体育赛事可以是其中用户可以在180°范围内自由旋转他的头部但是仅将他的头部旋转相对小量的广播。这样的有限移动可以基本上降低对于需要提供的数据的要求。

MAUGEY THOMAS等人已经在：“Reference View Selection in DI BR-BasedMultiview Coding”(IEEE TRANSACTIONS ON IMAGE PROCESSING,IEEE SERVICE CENTER,PISCATAWAY,NJ,US，第25卷，第4号，2016年4月1日(2016-04-01)，第1808-1819页，XP011602607”)中公开一种用于多视图编码系统中的参考视图的最佳选择的算法。描述了增强现实、3D场景中的交互式导航、多视图视频和其他新兴多媒体应用要求大图像组，因此与常规视频服务相比较更大的数据量和增加的资源。多视图系统中的图像数目的显著增加导致数据表示和数据传输中的新的富挑战性的问题以提供资源受限环境上的高质量的体验。为了减少数据的大小，最近已经提出了不同的多视图视频压缩策略。它们中的大多数使用用于在数据集中存在高相关性时估计其他图像的参考或关键视图的概念。基于测量视图之间的相似性的度量，执行用于定位参考视图的优化，使得视图重建的失真和编码速率成本最小化。