[发明专利]一种多模态人机交互方法及装置

权利要求书

1.一种多模态人机交互方法，其特征在于，包括：

获取来自用户的交互文本信息；

根据所述交互文本信息预测过渡语；

根据所述过渡语获取对应的多模态内容，将其作为第一回复内容，将所述第一回复内容推送至虚拟人客户端；

根据所述交互文本信息的答复文本信息生成对应的多模态内容，将其作为第二回复内容，将所述第二回复内容推送至虚拟人客户端。

2.根据权利要求1所述的多模态人机交互方法，其特征在于：

在预测过渡语之前，还包括：确定所述交互文本信息的答复文本信息；

所述的根据所述交互文本信息预测过渡语包括：若所述答复文本信息不为预设文本，则根据所述交互文本信息和所述答复文本信息，预测与所述交互文本信息相匹配的过渡语。

3.根据权利要求2所述的多模态人机交互方法，其特征在于，还包括：

若所述答复文本信息为预设文本，则从预设缓存中获取所述预设文本的多模态内容，将其作为第二回复内容，将所述第二回复内容推送至虚拟人客户端。

4.根据权利要求1或2所述的多模态人机交互方法，其特征在于：

预先设置若干过渡语及每个过渡语对应的多模态内容；

所述的根据所述交互文本信息预测过渡语包括：从预先设置的所有过渡语中选择与所述交互文本信息相匹配的过渡语；

所述的根据所述过渡语获取对应的多模态内容包括：从预设设置的所有过渡语的多模态内容中获取与所述交互文本信息相匹配的过渡语对应的多模态内容。

5.根据权利要求1所述的多模态人机交互方法，其特征在于，所述的根据所述交互文本信息的答复文本信息生成对应的多模态内容，将其作为第二回复内容，将所述第二回复内容推送至虚拟人客户端，包括：

若所述答复文本信息的长度超过预设长度，则对所述答复文本信息进行分割，得到依次排列的短内容片段；

按序依次对每个短内容片段生成对应的多模态内容并缓存；

按序将每个短内容片段的多模态内容逐次推送至虚拟人客户端。

6.根据权利要求5所述的多模态人机交互方法，其特征在于，所述的对所述答复文本信息进行分割，包括：

采用神经网络结构的内容分段模型对所述答复文本信息进行分割，所述内容分段模型根据语义间的停顿信息将答复文本信息分割成多个短内容片段。

7.根据权利要求1所述的多模态人机交互方法，其特征在于，还包括：

当收到来自虚拟人客户端的会话终止指示时，停止后续的多模态内容生成，释放本次会话占用的资源。

8.一种多模态人机交互装置，其特征在于，包括：

交互文本获取模块，用于获取来自用户的交互文本信息；

第一回复内容生成模块，用于根据所述交互文本信息预测过渡语；根据所述过渡语获取对应的多模态内容，将其作为第一回复内容；

发送模块，用于将所述第一回复内容推送至虚拟人客户端；

第二回复内容生成模块，用于根据所述交互文本信息的答复文本信息生成对应的多模态内容，将其作为第二回复内容；

所述发送模块，还用于将所述第二回复内容推送至虚拟人客户端。

9.根据权利要求8所述的多模态人机交互装置，其特征在于，还包括：

答复文本确定模块，用于在预测过渡语之前，确定所述交互文本信息的答复文本信息；

所述第一回复内容生成模块，还用于若所述答复文本信息不为预设文本，则根据所述交互文本信息和所述答复文本信息，预测与所述交互文本信息相匹配的过渡语。

10.根据权利要求8所述的多模态人机交互装置，其特征在于：

所述第二回复内容生成模块，还用于若所述答复文本信息为预设文本，则从预设缓存中获取所述预设文本的多模态内容，将其作为第二回复内容。