[发明专利]用于处理360度图像的方法和装置

说明书

提供了一种处理360度图像的方法，该方法包括：获得360度图像的多个运动矢量；通过滤波确定多个运动矢量中指示360度图像的全局旋转的至少一个运动矢量；对确定的至少一个运动矢量执行三维转换，以获得360度图像的三维旋转信息；以及基于获得的三维旋转信息，校正由抖动引起的360度图像的失真。

技术领域

本公开涉及一种处理360度图像的方法、用于处理360度图像的装置以及其上记录有用于执行该方法的程序的记录介质。

背景技术

随着图像处理技术的发展，已经积极地对提供360度图像的方法进行了研究，作为向用户提供逼真的图像的技术之一。当提供360度图像时，在用户正在观看360度图像时，出现类似于晕动症的所谓虚拟现实(VR)疾病问题。当用户正在观看360度图像时，由于感觉冲突可能导致VR疾病。可以通过校正不期望的相机运动并稳定图像来减轻VR疾病。

可以在图像的后处理期间执行这种图像稳定，并且大多数图像稳定技术需要两个单独的操作。首先，必须从相机的预测跟踪移动中检测无意的相机运动并对无意的相机运动进行限制，其次，必须通过使用相机的稳定跟踪和原始图像序列来生成新的图像序列。然而，难以预测在未校正的单点成像系统中相机的跟踪移动，并且难以在稳定的相机视角下可靠地执行新图像的生成，因此需要附加的研究来稳定360度图像。

发明内容

提供了一种处理360度图像的方法以使得能够通过将360度图像的运动矢量转换为旋转信息并校正由抖动引起的360度图像中的失真来实现图像的稳定化，并且提供了一种用于处理360度图像的装置。

根据本公开的一方面，一种处理360度图像的方法包括：获得关于360度图像的多个运动矢量；通过滤波确定多个运动矢量中指示360度图像的全局旋转的至少一个运动矢量；通过对所确定的至少一个运动矢量进行三维转换，获得360度图像的三维(3D)旋转信息；以及基于获得的3D旋转信息，校正由抖动引起的360度图像的失真。

确定至少一个运动矢量可以包括：根据投影类型，从多个运动矢量去除包括在预定区域中的运动矢量。

确定至少一个运动矢量可以包括：基于从360度图像中检测到的边缘生成掩模；通过将生成的掩模应用于360度图像，确定360度图像中不存在纹理的区域；以及从多个运动矢量中去除包括在不存在纹理的区域中的运动矢量。

确定至少一个运动矢量可以包括：通过预设的对象检测过程从360度图像中检测至少一个移动对象；以及从多个运动矢量中去除与检测到的对象相关的运动矢量。

确定至少一个运动矢量可以包括：将在360度图像被投影到的单位球面的相对侧上彼此平行、具有不同标记并且具有预定阈值范围内的大小的运动矢量确定为指示全局旋转的运动矢量。

获得3D旋转信息可以包括：将所确定的至少一个运动矢量分类为与预定方向和预定大小范围相对应的多个箱；从分类后的多个箱中选择包括最大数量的运动矢量的箱；以及通过对选择的箱的方向和距离进行转换来获得3D旋转信息。

在获得3D旋转信息时，可以通过对选择的箱和多个相邻箱的方向和距离应用加权平均来获得3D旋转信息。

获得3D旋转信息可以包括：获得使所确定的至少一个运动矢量之和最小化的旋转值作为3D旋转信息。

获得3D旋转信息可以包括：通过使用先前生成的学习网络模型，基于多个运动矢量来获得3D旋转信息。

该方法还可以包括：获得当捕获360度图像时由于感测捕获设备的抖动而生成的传感器数据，并且校正360度图像可以包括：通过将获得的传感器数据与3D旋转信息进行组合来校正360度图像的失真。