[发明专利]选择性地增强经压缩的数字内容在审
申请号: | 202080042707.2 | 申请日: | 2020-04-29 |
公开(公告)号: | CN113940066A | 公开(公告)日: | 2022-01-14 |
发明(设计)人: | D·G·肯奈特;E·C·沃尔斯顿;M·高登 | 申请(专利权)人: | 微软技术许可有限责任公司 |
主分类号: | H04N19/117 | 分类号: | H04N19/117;H04N19/167 |
代理公司: | 上海专利商标事务所有限公司 31100 | 代理人: | 胡利鸣 |
地址: | 美国华*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 选择性 增强 压缩 数字 内容 | ||
1.一种方法,包括:
解压缩经压缩的数字视频内容以生成包括多个经解码的视频帧的经解压缩的数字视频内容;
从所述多个经解码的视频帧中标识一经解码的视频帧;
标识该经解码的视频帧的感兴趣区域,所述感兴趣区域包括该经解码的视频帧的一部分;以及
将去噪模型应用于该经解码的视频帧的所述部分以生成经去噪的视频帧,在所述经去噪的视频帧中来自所述经解码的视频帧的所述感兴趣区域的一个或多个压缩伪影已被移除,其中所述去噪模型包括机器学习模型,所述机器学习模型被训练成接收包括至少一个压缩伪影的输入图像并生成其中所述至少一个压缩伪影已被移除的输出图像。
2.如权利要求1所述的方法,其特征在于,所述去噪模型是基于训练图像对来训练的,所述训练图像对包括第一多个非经压缩的图像和基于压缩后的所述第一多个非经压缩的图像的第二多个经解压缩的数字图像。
3.如权利要求1或2中任一者所述的方法,其特征在于,进一步包括将超分辨率模型应用于所述经去噪的视频帧以生成具有与所述经解码的视频帧相比更高分辨率的输出视频帧,其中所述超分辨率模型包括第二机器学习模型,所述第二机器学习模型被训练成接收具有输入分辨率的输入数字图像以基于输入数字图像来生成具有与所述输入分辨率相比更高分辨率的输出数字图像。
4.如权利要求1-3中任一者所述的方法,其特征在于,标识所述感兴趣区域包括标识所述经解码的视频帧的像素的一个或多个离散区域。
5.如权利要求1-4中任一者所述的方法,其特征在于,标识所述感兴趣区域包括从共同构成所述经解码的视频帧的多个颜色通道中标识第一颜色通道,以及其中经标识的第一颜色通道包括来自包括亮度通道、第一色度通道和第二色度通道的颜色通道族的亮度通道。
6.如权利要求1-5中任一者所述的方法,其特征在于,标识所述感兴趣区域包括从服务器设备接收对所述感兴趣区域的标识,连同从所述服务器设备接收所述经压缩的数字视频。
7.如权利要求6所述的方法,其特征在于,接收对所述感兴趣区域的标识包括以下一者或多者:
接收合成缓冲器,所述合成缓冲器包括所述经解码的视频帧的分段掩码,所述分段掩码包括对所述经解码的视频帧内的重要内容的指示;或者
接收可变速率着色缓冲器,所述可变速率着色缓冲器指示所述经解码的视频帧中与不同着色精度率相关联的区域。
8.如权利要求1-7中任一者所述的方法,其特征在于,进一步包括:
从所述多个经解码的视频帧中标识附加经解码的视频帧的感兴趣区域,所述感兴趣区域包括所述附加经解码的视频帧的相应部分;以及
将所述去噪模型应用于所述附加经解码的视频帧的所述相应部分中的每一者以生成多个经去噪的视频帧,在所述多个经去噪的视频帧中来自所述经解码的视频帧的所述感兴趣区域的压缩伪影已被移除。
9.一种方法,包括:
接收要被流传输到客户端设备的视频内容,所述视频内容包括多个非经压缩的视频帧;
压缩所述视频内容以生成经压缩的数字视频内容;
标识所述视频内容的感兴趣区域的信息,所述感兴趣区域的信息包括对来自所述视频内容的内容的一个或多个离散区域的指示;
将所述经压缩的数字视频内容提供给所述客户端设备;以及
将所述感兴趣区域的信息连同所述经压缩的数字视频内容一起提供给所述客户端设备,以用于从来自与所述感兴趣区域的信息相关联的经解码的视频帧的经标识的像素的区域中移除压缩伪影。
10.如权利要求9所述的方法,其特征在于,标识所述感兴趣区域的信息包括结合接收所述视频内容来接收接收到的视频内容内的经标识的重要区域。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于微软技术许可有限责任公司,未经微软技术许可有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202080042707.2/1.html,转载请声明来源钻瓜专利网。