[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据处理方法、装置、电子设备及存储介质。其中，方法包括：获取待处理数据；对所述待处理数据中的语音数据进行分段处理，得到至少两个语音段；并对所述待处理数据中的图像数据进行分段处理，得到至少两个图像段；针对所述至少两个语音段中每个语音段，对所述至少两个图像段中的与相应语音段对应的图像段进行图像识别，得到识别结果；并确定与所述识别结果匹配的表情符号；对所述至少两个语音段进行翻译，得到至少两个翻译文本；利用所述至少两个图像段中每个图像段对应的表情符号和所述至少两个翻译文本，生成同传结果；输出所述同传结果；所述同传结果用于在播放所述语音数据时在客户端进行呈现。

技术领域

本发明涉及同声传译技术，具体涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

机器同传技术是近些年出现的针对会议、报告等场景的语音翻译产品，其结合自动语音识别技术(ASR，Automatic Speech Recognition)技术和机器翻译(MT，MachineTranslation)技术，为演讲者的演讲内容提供多语种的字幕展现，替代人工同传服务。

相关机器同传技术中，通常对演讲内容进行翻译，并通过文字进行展示，展示方式较单调，无法提高用户的观看趣味。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法、装置、电子设备及存储介质。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种数据处理方法，包括：

获取待处理数据；

对所述待处理数据中的语音数据进行分段处理，得到至少两个语音段；并对所述待处理数据中的图像数据进行分段处理，得到至少两个图像段；

针对所述至少两个语音段中每个语音段，对所述至少两个图像段中的与相应语音段对应的图像段进行图像识别，得到识别结果；并确定与所述识别结果匹配的表情符号；

对所述至少两个语音段进行翻译，得到至少两个翻译文本；

利用所述至少两个图像段中每个图像段对应的表情符号和所述至少两个翻译文本，生成同传结果；

输出所述同传结果；所述同传结果用于在播放所述语音数据时在客户端进行呈现。

上述方案中，所述对所述待处理数据中的语音数据进行分段处理，得到至少两个语音段；并对所述待处理数据中的图像数据进行分段处理，得到至少两个图像段，包括：

对所述待处理数据中的语音数据进行识别，得到识别文本；对所述识别文本进行字符识别，得到至少一个字符；

按照所述至少一个字符，确定至少一个时间锚点；

利用所述至少一个时间锚点，对所述待处理数据中的语音数据进行分段处理，得到至少两个语音段；并对所述待处理数据中的图像数据进行分段处理，得到至少两个图像段。

上述方案中，所述对所述至少两个图像段中的与相应语音段对应的图像段进行图像识别，得到识别结果，包括：

对所述至少两个图像段中的与相应语音段对应的图像段进行特征提取，得到第一特征数据；

基于所述第一特征数据，以及面部识别模型，得到用户表情；

将所述用户表情作为所述识别结果。

上述方案中，所述确定与所述识别结果匹配的表情符号，包括：

确定所述识别结果对应的用户表情的第一标识信息；

从数据库中查找与所述第一标识信息对应的表情符号；所述数据库中存储有用户表情的标识信息与表情符号的对应关系；