[发明专利]由球面投影处理等量矩形对象数据以补偿畸变

说明书

多向图像数据通常包含图像内容的畸变，这种畸变在由被设计用于处理传统的“平面”图像内容的视频编码器处理时引起问题。本公开的实施方案提供了使用此类编码器对多向图像数据进行编码的技术。对于有待编码的帧中的每个像素块，编码器可基于相应地输入像素块的位置与搜索窗口内的基准画面的一部分之间的位移来转换搜索窗口内的关于输入像素块的位置的基准画面数据。该编码器可在经转换的基准画面数据其间执行预测搜索，以识别输入像素块与经转换的基准画面的一部分之间的匹配，并且当匹配被识别时，该编码器可相对于经转换的基准画面的匹配部分对输入像素块进行差分编码。该转换可通过多向格式来抵消施加于基准画面数据的图像内容的畸变，该多向格式将所述内容与输入画面的图像内容对齐。该技术适用于帧内编码和帧间编码两者。

背景技术

本公开涉及用于全方位多向图像和视频的编码技术。

一些现代成像应用程序从相机的多个方向捕获图像数据。一些相机在图像捕获期间枢转，这允许相机在扩大相机的有效视场的角度扫描中捕获图像数据。一些其他相机具有多个成像系统，其在若干不同视场中捕获图像数据。在任一种情况下，可创建表示从这些多个视图捕获的图像数据的合并或“拼接”的聚合图像。

许多现代编码应用程序并非设计用于处理此类全方位或多方向的图像内容。此类编码应用程序是基于假设图像内的图像数据是“平面的”或从单个视场捕获而设计的。因此，编码应用程序不考虑图像畸变，而图像畸变在处理这些其中包含畸变的全方位或多方向图像时可能出现。这些畸变可导致普通视频编码器无法识别图像内容中的冗余，从而导致编码效率低下。

因此，本发明人认为本领域需要可处理全方位和多方向图像内容并限制畸变的编码技术。

附图说明

图1示出了可采用本公开的实施方案的系统。

图2是根据本公开的一个实施方案的编码系统的功能框图。

图3示出了可与本公开的实施方案一起使用的图像源。

图4示出了通过多向成像捕获的示例性等量矩形投影图像。

图5对在球面图像中可能出现的畸变效应进行建模。

图6为示出示例性等量矩形帧中的示例性对象的畸变的曲线图。

图7示出了根据本公开的一个实施方案的编码方法。

图8示出了根据本公开的一个实施方案的编码方法。

图9示出了根据图8的方法可应用于参考帧数据的转换。

图10是根据本公开的一个实施方案的编码系统的功能框图。

图11是根据本公开的一个实施方案的解码系统的功能框图。

图12示出了适合与本公开的实施方案一起使用的计算机系统。

具体实施方式

本公开的实施方案提供用于编码球面图像和视频的技术。对于有待编码的帧中的每个像素块，编码器可基于相应地输入像素块的位置与搜索窗口内的基准画面的一部分之间的位移来转换搜索窗口内的关于输入像素块的位置的基准画面数据。编码器可在经转换的基准画面数据其间执行预测搜索，以识别输入像素块与经转换的基准画面的一部分之间的匹配，并且当匹配被识别时，编码器可相对于经转换的基准画面的匹配部分对输入像素块进行差分编码。该转换可通过球面投影格式来抵消施加于基准画面数据的图像内容的畸变，该球面投影格式将内容与输入画面的图像内容对齐。