[发明专利]视频通话方法、设备、存储介质及程序产品在审
申请号: | 202111057422.9 | 申请日: | 2021-09-09 |
公开(公告)号: | CN113709401A | 公开(公告)日: | 2021-11-26 |
发明(设计)人: | 黄文赞;黄启军;黄铭毅;林江淼;陈振南 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | H04N7/14 | 分类号: | H04N7/14;G06K9/00;G06K9/62 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 许青华 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 通话 方法 设备 存储 介质 程序 产品 | ||
1.一种视频通话方法,其特征在于,所述方法应用于参与视频通话的第一设备,所述方法包括以下步骤:
获取参与视频通话的第二设备发送的低分辨率视频图像和超分模型信息,其中,所述第二设备将采集的本次通话的通话视频数据处理为所述低分辨率视频图像后发送给所述第一设备,并在根据所述通话视频数据确定使用所述第二设备参与本次通话的目标通话人后,根据所述目标通话人获取所述超分模型信息发送给所述第一设备;
基于所述超分模型信息获得针对所述目标通话人的目标超分模型;
采用所述目标超分模型对所述低分辨率视频图像进行超分辨率重建得到第一高分辨率视频图像并输出,其中,所述第一高分辨率视频图像的分辨率高于所述低分辨率视频图像。
2.如权利要求1所述的视频通话方法,其特征在于,当所述超分模型信息为目标模型参数时,所述基于所述超分模型信息获得针对所述目标通话人的目标超分模型的步骤包括:
采用所述目标模型参数替换第一通用超分模型中预设位置处的模型参数得到针对所述目标通话人的目标超分模型;
其中,所述目标模型参数是所述第二设备提取得到的目标通话人模型中所述预设位置处的模型参数,所述目标通话人模型是所述第二设备预先采用所述目标通话人对应的视频图像对第二通用超分模型训练得到的超分模型,所述第一通用超分模型和所述第二通用超分模型分别是所述第一设备和所述第二设备中预置的采用预设的通用图像训练数据训练得到的超分模型。
3.如权利要求2所述的视频通话方法,其特征在于,当所述超分模型信息为第二高分辨率视频图像时,所述基于所述超分模型信息获得针对所述目标通话人的目标超分模型的步骤包括:
对所述第二高分辨率视频图像进行预处理得到目标训练数据;
其中,所述第二高分辨率视频图像是所述第二设备在预设模型库中未查找到所述目标通话人对应的所述目标通话人模型时,从所述通话视频数据中抽取的高分辨率视频图像,所述第二高分辨率视频图像的分辨率高于所述低分辨率视频图像,所述预设模型库用于存放历史通话人对应的通话人模型,所述历史通话人是所述第二设备根据历史通话视频数据确定的使用所述第二设备参与视频通话的通话人,所述历史通话人对应的所述通话人模型是所述第二设备采用所述历史通话人对应的视频图像对所述第二通用超分模型训练得到的;
采用所述目标训练数据对所述第一通用超分模型进行训练得到针对所述目标通话人的目标超分模型。
4.如权利要求3所述的视频通话方法,其特征在于,所述采用所述目标训练数据对所述第一通用超分模型进行训练得到针对所述目标通话人的目标超分模型的步骤包括:
采用所述目标训练数据作为训练集对所述第一通用超分模型进行训练,以及采用所述通用图像训练数据作为验证集进行验证,并当检测到所述第一通用超分模型在所述训练集上的超分辨率重建准确度大于所述第一通用超分模型在所述验证集上的超分辨重建准确度时,再训练预设时长后停止训练,得到针对所述目标通话人的目标超分模型。
5.一种视频通话方法,其特征在于,所述方法应用于参与视频通话的第二设备,所述方法包括以下步骤:
采集本次通话的通话视频数据,并将所述通话视频数据处理为低分辨率视频图像;
根据所述视频通话数据确定使用所述第二设备参与本次通话的目标通话人,并根据所述目标通话人获取超分模型信息;
将所述低分辨率视频图像和所述超分模型信息发送给所述第一设备,以供所述第一设备基于所述超分模型信息获得针对所述目标通话人的目标超分模型,并采用所述目标超分模型对所述低分辨率视频图像进行超分辨率重建得到第一高分辨率视频图像并输出,其中,所述第一高分辨率视频图像的分辨率高于所述低分辨率视频图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111057422.9/1.html,转载请声明来源钻瓜专利网。