[发明专利]通过使用基于学习的运动分段的运动翘曲的视频压缩

说明书

基于纹理的代码化的区使用空间分段和运动流分段来识别。对于视频序列中的帧组中的帧，使用第一分类器将帧分段成帧中的图像的纹理区、非纹理区或两者。然后，使用第二分类器将帧组的纹理区分段成纹理代码化区或非纹理代码化区。第二分类器使用跨帧组的运动作为输入。分类器中的每个使用机器学习过程来生成。使用基于块的代码化技术对当前帧的非纹理区和非纹理代码化区的块进行代码化，而使用除了基于块的代码化技术以外的技术对纹理代码化区的块进行代码化。

背景技术

数字视频流可以使用帧或静止图像的序列来表示视频。数字视频可被用于各种应用，包括例如视频会议、高清视频娱乐、视频广告或用户生成的视频的共享。数字视频流可包含大量数据并消耗用于视频数据的处理、传输或者存储的计算设备的大量的计算或通信资源。已提出用于减少视频流中的数据的量的包括压缩和其它编码技术的各种方法。

一种用于压缩的技术使用参考帧来生成与要编码的当前块相对应的预测块。可对预测块与当前块之间的差异进行编码，而不是对当前块本身的值进行编码，以减少被编码的数据的量。

发明内容

本公开总体上涉及对视频数据进行编码和解码，并且更具体地涉及使用通过基于学习的运动分段而开发的运动翘曲的视频压缩。

本公开描述了编码和解码方法和装置。根据本公开的实施方式的装置包括非暂时性存储介质或存储器和处理器。介质包括指令，这些指令可由处理器执行以：对于视频序列中的帧组中的每个帧，使用第一分类器来将帧分段成帧中的图像的纹理区或非纹理区中的至少一个，第一分类器使用第一机器学习过程来生成；使用第二分类器来将该帧组的纹理区分段成纹理代码化区或非纹理代码化区，第二分类器使用跨该帧组的运动作为输入并且使用第二机器学习过程来生成；并且对视频序列中的该帧组中的当前帧进行编码。对当前帧进行编码包括使用基于块的代码化技术来对当前帧的非纹理代码化区的块进行编码并且使用除了基于块的代码化技术以外的其它技术来对当前帧的纹理代码化区的块进行编码。

根据本公开的实施方式的另一装置也包括非暂时性存储介质或存储器和处理器。介质包括指令，这些指令可由处理器执行以选择视频序列中的帧组中的当前帧，该当前帧通过如下方式被编码：对于视频序列中的帧组中的每个帧，使用第一分类器来将该帧分段成帧中的图像的纹理区或非纹理区中的至少一个，第一分类器使用第一机器学习过程来生成；使用第二分类器来将该帧组的纹理区分段成纹理代码化区或非纹理代码化区，第二分类器使用跨该帧组的运动作为输入并且使用第二机器学习过程来生成；在当前帧具有非纹理区的条件下，使用基于块的代码化技术来对当前帧的非纹理区的块进行编码，使用基于块的代码化技术来对当前帧的非纹理代码化区的块进行编码，并且使用除基于块的代码化技术外的其它技术来对当前帧的纹理代码化区的块进行编码。指令也包括用于进行以下的指令：在当前帧具有非纹理区的条件下，使用基于块的代码化技术来对当前帧的非纹理区的块进行解码，使用基于块的代码化技术来对当前帧的非纹理代码化区的块进行解码，并且使用除基于块的代码化技术外的其它技术来对纹理代码化区的块进行解码。

根据本公开的实施方式的方法包括：选择视频序列中的帧组中的当前帧，该当前帧通过如下方式被编码：对于视频序列中的帧组中的每个帧，使用第一分类器来将帧分段成帧中的图像的纹理区或非纹理区中的至少一个，第一分类器使用第一机器学习过程来生成；使用第二分类器来将该帧组的纹理区分段成纹理代码化区或非纹理代码化区，第二分类器使用跨该帧组的运动作为输入并且使用第二机器学习过程来生成；使用基于块的代码化技术来对当前帧的非纹理区的块进行编码，使用基于块的代码化技术来对当前帧的非纹理代码化区的块进行编码，并且使用除基于块的代码化技术外的其它技术来对当前帧的纹理代码化区的块进行编码。该方法也包括：在对当前帧的所有其它块进行解码之后，使用除基于块的代码化技术外的其它技术来对纹理代码化区的块进行解码。