[发明专利]基于锚定帧修改多帧图像的方法和装置

说明书

提供了一种方法、装置和计算机程序产品，用于使得图像内容以与相应的查看方向(诸如头戴式显示设备的用户的查看方向)相一致的方式来被调节。关于方法，确定多帧图像内的一个或多个第一锚定帧，确定相对于多帧图像的用户的查看方向，并且基于用户的查看方向标识至少一个第二锚定帧。该方法还包括基于一个或多个第一锚定帧以及至少一个第二锚定帧确定与查看方向相关的帧的一个或多个色调修改参数。此外，该方法基于一个或多个色调修改参数生成多个经修改的帧。还提供了相应的装置和计算机程序产品。

技术领域

示例实施例总体上涉及修改内容，并且更具体地涉及用于基于在多帧图像内标识的锚定帧来修改多帧图像的方法和装置。

背景技术

可以为了各种目的而生成全景图像。除了为了个人享受而创建的全景图像，诸如度假目的地、风景位置或事件的全景图像之外，全景图像可以被视频游戏或包括虚拟现实或增强现实应用的其他视觉沉浸技术利用。虽然全景图像可以以各种方式呈现，但是头戴式显示器耳机、立体护目镜、智能电话、便携式视频游戏机等可以被配置为显示全景图像。

全景图像可以根据从不同查看方向捕获的多个图像来生成，该多个图像被组合和拼接在一起以形成全景图像。由于用于形成全景图像的多个单独图像的组合，全景图像可能不会显得均匀，并且相反，各个图像的不同图像属性可能使得组成全景图像的各个图像容易地可区分。因此，图像修改系统已经被开发用于对组成全景图像的所有图像进行全局色调校正。尽管可用于混合全景图像的各个图像，但是这些系统倾向于减少或消除存在于现实世界中并且希望被保持在全景图像中的图像参数的局部变化，但是由于不同的色调而提供不均匀的色调波动和可见的视觉接缝。

发明内容

根据示例实施例提供了一种方法、装置和计算机程序产品，以便修改诸如全景图像的多帧图像的帧，以便混合帧，同时保留图像参数的至少一定程度的局部变化。因此，由用户查看的全景图像的帧子集的图像参数可以基于更局部的图像参数集合进行修改，从而用于在保持局部变化的同时对帧进行混合。因此，由于局部变化，诸如当应用于头戴式显示设备的上下文时，查看体验可以得到增强，因为在任何时刻，用户可以仅查看作为360°视图的子集的局部内容。

在示例实施例中，提供了一种方法，其包括确定多帧图像内的一个或多个第一锚定帧。这个示例实施例的方法还包括确定相对于多帧图像的用户的查看方向。这个示例实施例的方法还包括基于用户的查看方向标识至少一个第二锚定帧。这个示例实施例的方法还包括基于一个或多个第一锚定帧以及至少一个第二锚定帧，确定与查看方向相关的帧的一个或多个色调修改参数。因此，可以基于一个或多个色调修改参数来生成图像内容，诸如多个经修改的帧。

示例实施例的方法可以通过接收多个图像并且基于一个或多个图像属性的相似度将多个图像分类成多个子集来确定多帧图像内的一个或多个第一锚定帧。示例实施例的方法还可以包括通过以下操作来将多个图像分类成多个子集：分析由多个图像限定的多个颜色校正矩阵或多个自动白平衡参数；基于多个颜色校正矩阵或多个自动白平衡参数将多个图像集群成多个子集；以及将来自每个集群的相应图像标识为第一锚定帧。在示例实施例中，基于一个或多个色调修改参数生成多个经修改的帧包括使得多个经修改的帧由头戴式显示设备来显示。