[发明专利]语音合成方法、装置、存储介质和电子设备在审
申请号: | 202010771100.X | 申请日: | 2020-08-03 |
公开(公告)号: | CN111916050A | 公开(公告)日: | 2020-11-10 |
发明(设计)人: | 殷翔 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/08;G10L25/30;G06F16/58;G06F16/583 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 魏嘉熹 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 合成 方法 装置 存储 介质 电子设备 | ||
本公开涉及一种语音合成方法、装置、存储介质和电子设备,所述方法包括:获取待处理的目标图像;提取所述目标图像的第一特征信息和所述目标图像中至少一个目标物的第二特征信息,并根据所述第一特征信息和所述第二特征信息,生成所述目标图像对应的描述信息;根据所述描述信息进行语音合成,以得到所述目标图像对应的音频信息。由此,可以提高获取的目标图像的特征信息的全面性和丰富性,为后续生成描述信息提供准确的数据支持。同时,在生成目标图像的描述信息时,不仅考虑了目标图像的信息,还考虑了目标图像中所包含的目标物的内容信息,从而可以基于该目标物对目标图像进行更加全面的描述,提高获得的音频信息与目标图像的匹配度。
技术领域
本公开涉及语音合成技术领域,具体地,涉及一种语音合成方法、装置、存储介质和电子设备。
背景技术
随着计算机技术发展,图像处理的应用也越来越广泛。例如,为进一步简化用户操作,可以基于图像生成对应的音频,以实现图像应用。现有技术中,通常是对该图像进行卷积处理,从而生成图像对应的文本描述信息,进而生成音频。上述过程中,对图像进行卷积处理的卷积核的大小设置偏差会导致得出的文本描述信息与图像不匹配,从而导致该图像与音频之间的匹配度较低。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
第一方面,本公开提供一种语音合成方法,所述方法包括:
获取待处理的目标图像;
提取所述目标图像的第一特征信息和所述目标图像中至少一个目标物的第二特征信息,并根据所述第一特征信息和所述第二特征信息,生成所述目标图像对应的描述信息;
根据所述描述信息进行语音合成,以得到所述目标图像对应的音频信息。
第二方面,提供一种语音合成装置,所述装置包括:
第一获取模块,用于获取待处理的目标图像;
生成模块,用于提取所述目标图像的第一特征信息和所述目标图像中至少一个目标物的第二特征信息,并根据所述第一特征信息和所述第二特征信息,生成所述目标图像对应的描述信息;
合成模块,用于根据所述描述信息进行语音合成,以得到所述目标图像对应的音频信息。
第三方面,提供一种计算机可读介质,其上存储有计算机程序,该程序被处理装置执行时实现上述第一方面任一所述方法的步骤。
第四方面,提供一种电子设备,包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现上述第一方面任一所述方法的步骤。
在上述技术方案中,通过提取目标图像的第一特征信息和目标图像中至少一个目标物的第二特征信息,并根据所述第一特征信息和所述第二特征信息,生成所述目标图像对应的描述信息,从而可以根据所述描述信息进行语音合成,以得到所述目标图像对应的音频信息。由此,通过上述技术方案,不仅可以获得目标图像的特征信息,还可以进一步对目标图像中的目标物进行识别,获得该目标物对应的特征信息,从而可以提高获取的目标图像的特征信息的全面性和丰富性,为后续生成描述信息提供准确的数据支持。同时,在本公开中,在生成目标图像的描述信息时,不仅考虑了目标图像的信息,还考虑了目标图像中所包含的目标物的内容信息,从而可以基于该目标物对目标图像进行更加全面的描述,并且无需通过不同的卷积核进行特征处理,保证确定出的描述信息的全面性和准确性,提高获得的音频信息与目标图像的匹配度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010771100.X/2.html,转载请声明来源钻瓜专利网。