[发明专利]一种多媒体数据处理方法、装置、电子设备以及存储介质

权利要求书

1.一种多媒体数据处理方法，其特征在于，包括：

接收目标音频信息对应的字幕获取指令；

根据所述字幕获取指令，获取与所述目标音频信息相匹配的字幕信息，其中所述字幕信息包括原文字信息与扩展文字信息；

当播放所述目标音频信息中的目标音频帧时，确定所述目标音频帧的音频时间戳，并在所述原文字信息中提取与所述音频时间戳对应的第一字符，并在所述扩展文字信息中提取与所述音频时间戳对应的第二字符；所述目标音频帧为所述目标音频信息中的一个单位音频帧，所述单位音频帧为所述目标音频信息中的最小单位；

若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第二语音信息；

根据所述第二语音信息生成第一频率波形图，根据所述目标音频帧生成第二频率波形图，根据所述第一频率波形图和所述第二频率波形图各自波峰和波谷的差值确定所述第二语音信息与所述目标音频帧之间的相似度；

若所述相似度大于预设数值阈值，则在屏幕的第一区域显示所述第一字符，并在所述屏幕的第二区域显示所述第二字符。

2.根据权利要求1所述的方法，其特征在于，所述扩展文字信息，包括：与所述原文字信息相匹配的拼音信息和/或与所述原文字信息相匹配的译文信息。

3.根据权利要求1所述的方法，其特征在于，还包括：

若所述目标音频帧携带有暂停标识，且已播放完所述目标音频帧，则暂停播放所述目标音频信息，并通过收音器采集第一语音信息；

根据所述目标音频帧对所述第一语音信息进行发音测评，得到测评结果，并在所述屏幕的第三区域显示所述测评结果。

4.根据权利要求3所述的方法，其特征在于，还包括：

若暂停播放所述目标音频信息的时长达到预设时长阈值，则继续对所述目标音频帧的下一个音频帧进行播放，并同步显示所述下一个音频帧对应的字幕信息。

5.根据权利要求1所述的方法，其特征在于，所述接收目标音频信息对应的字幕获取指令之前，还包括：

通过收音器采集第三语音信息；

若音频数据库中存在与所述第三语音信息的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。

6.根据权利要求1所述的方法，其特征在于，所述接收目标音频信息对应的字幕获取指令之前，还包括：

通过扫描获取条码信息；

若音频数据库中存在与所述条码信息对应的文字内容相匹配的音频信息，则确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。

7.根据权利要求1所述的方法，其特征在于，所述接收目标音频信息对应的字幕获取指令之前，还包括：

通过收音器采集第四语音信息，并识别所述第四语音信息中的关键字；

在音频数据库中搜索与所述关键字相匹配的音频信息，并确定所匹配的音频信息为所述目标音频信息，并生成所述目标音频信息对应的字幕获取指令。