[发明专利]语音和动作时间同步的方法

说明书

本说明书实施例提供的语音和动作时间同步的方法，包括提取当前语音的文本信息，并确定所述当前语音的语音时长；将所述文本信息通过预设算法进行处理，获得初始动作视频；根据所述语音时长以及所述初始动作视频的动作时长，确定所述当前语音与所述初始动作视频的当前同步时间差；在所述当前同步时间差大于等于预设时间阈值的情况下，将预期动作生成时长以及所述文本信息，通过所述预设算法进行处理，确定目标动作视频；该方法采用算法进行长度可控的手语动作视频自动生成，并且在手语动作视频生成的过程中，通过手语动作视频的时长以及当前语音时长，感知语音和手语动作视频之间的同步时间差，实现当前语音和手语动作的同步，提升用户体验。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及两种语音和动作时间同步的方法。

背景技术

手语是有听力障碍的人之间进行交流、沟通的语言，手语的表达方式、信息传达速度上和听力健全的人的自然语言都有差异，整体表现为手语传达的速度会更慢一些；在一些具备手语翻译的电视新闻中，为了跟上主播的语速，手语老师通常会省略很多内容，并且来不及对手语进行较为细致的组织，导致很大一部分有听力障碍的人，无法获知电视新闻上的手语表达含义。

同样，在数字人(即虚拟人)手语场景中，也会存在同样的问题，无法保证主播的播报的语音和进行手语播报的数字人的手语动作的时间保持一致，对有听力健全的人造成不好的用户体验。

发明内容

有鉴于此，本说明书实施例提供了两种语音和动作时间同步的方法。本说明书一个或者多个实施例同时涉及两种语音和动作时间同步的装置，一种增强现实AR、虚拟现实VR、混合现实MR或扩展现实XR设备，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种语音和动作时间同步的方法，包括：

提取当前语音的文本信息，并确定所述当前语音的语音时长；

将所述文本信息通过预设算法进行处理，获得初始动作视频；

根据所述语音时长以及所述初始动作视频的动作时长，确定所述当前语音与所述初始动作视频的当前同步时间差；

在所述当前同步时间差大于等于预设时间阈值的情况下，将预期动作生成时长以及所述文本信息，通过所述预设算法进行处理，确定目标动作视频，

其中，所述预期动作生成时长根据所述当前同步时间差确定。

根据本说明书实施例的第二方面，提供了一种语音和动作时间同步的装置，包括：

第一文本提取模块，被配置为提取当前语音的文本信息，并确定所述当前语音的语音时长；

第一动作获得模块，被配置为将所述文本信息通过预设算法进行处理，获得初始动作视频；

第一时间差确定模块，被配置为根据所述语音时长以及所述初始动作视频的动作时长，确定所述当前语音与所述初始动作视频的当前同步时间差；

第一目标动作确定模块，被配置为在所述当前同步时间差大于等于预设时间阈值的情况下，将预期动作生成时长以及所述文本信息，通过所述预设算法进行处理，确定目标动作视频，

其中，所述预期动作生成时长根据所述当前同步时间差确定。

根据本说明书实施例的第三方面，提供了一种语音和动作时间同步的方法，包括：

提取发音方的当前语音的文本信息，并确定所述当前语音的语音时长；

将所述文本信息通过预设算法进行处理，获得虚拟人待展示的初始动作视频；

根据所述语音时长以及所述初始动作视频的动作时长，确定所述当前语音与所述初始动作视频的当前同步时间差；