[发明专利]虚拟形象互动方法、装置、电子设备及可读存储介质

说明书

本申请实施例提供一种虚拟形象互动方法、装置、电子设备及可读存储介质，通过提取特定主播的第一音频数据对应的内容特征图，并将内容特征图输入到目标音色风格对应的音色转换模型中，生成具有目标音色风格的风格特征转换图。然后对内容特征图和风格特征转换图进行特征反转换，得到具有该目标音色风格的第二音频数据。最后根据第二音频数据生成该特定主播对应的虚拟形象的互动视频流，并通过直播服务器将虚拟形象的互动视频流发送给直播接收终端进行播放。如此，能够在不改变音频内容的同时，将虚拟形象直播过程中的音色风格转换为目标音色风格以与观众进行互动，进而提高直播过程中的互动效果，更大程度上地调动观众与主播的互动。

技术领域

本申请涉及互联网直播领域，具体而言，涉及一种虚拟形象互动方法、装置、电子设备及可读存储介质。

背景技术

在互联网直播中，展现给观众的声音风格(音色)大多是采用主播的原音色风格或者预先固定的某一种音色风格。在一些特定的需求下，例如，观众希望听到所喜欢的偶像或者一种特别的音色风格，又或者主播希望以非本人的音色进行主播等情况，目前的直播方法则无法满足这些需求。

发明内容

有鉴于此，本申请实施例的目的在于提供一种虚拟形象互动方法、装置、电子设备及可读存储介质，以解决或者改善上述问题。

根据本申请实施例的一个方面，提供一种电子设备，可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可执行指令。当电子设备运行时，处理器执行所述机器可执行指令，以执行虚拟形象互动方法。

根据本申请实施例的另一方面，提供一种虚拟形象互动方法，应用于直播提供终端，所述直播提供终端中存储有针对特定主播的至少一种音色风格分别对应的音色转换模型，所述方法包括：

提取所述特定主播的第一音频数据对应的音频特征图；

将所述音频特征图包括的内容特征图输入到所述直播提供终端中存储的与设定的目标音色风格对应的音色转换模型中，生成具有所述目标音色风格的风格特征转换图；

对所述内容特征图和所述风格特征转换图进行特征反转换，得到具有该目标音色风格的第二音频数据；

根据所述第二音频数据生成该特定主播对应的虚拟形象的互动视频流，并通过直播服务器将所述虚拟形象的互动视频流发送给直播接收终端进行播放。

根据本申请实施例的另一方面，提供一种虚拟形象互动装置，应用于直播提供终端，所述直播提供终端中存储有针对特定主播的至少一种音色风格分别对应的音色转换模型，所述装置包括：

提取模块，用于提取所述特定主播的第一音频数据对应的音频特征图；

生成模块，用于将所述音频特征图包括的内容特征图输入到所述直播提供终端中存储的与设定的目标音色风格对应的音色转换模型中，生成具有所述目标音色风格的风格特征转换图；

反转换模块，用于对所述内容特征图和所述风格特征转换图进行特征反转换，得到具有该目标音色风格的第二音频数据；

发送模块，用于根据所述第二音频数据生成该特定主播对应的虚拟形象的互动视频流，并通过直播服务器将所述虚拟形象的互动视频流发送给直播接收终端进行播放。

根据本申请实施例的另一方面，提供一种可读存储介质，该可读存储介质上存储有机器可执行指令，该计算机程序被处理器运行时可以执行上述的虚拟形象互动方法的步骤。