[发明专利]用于人机交互的方法和装置

说明书

本公开的实施例提供了用于人机交互的方法、装置和计算机可读存储介质。该方法包括：获取交互对象的输入，输入至少包括视频图像和语音输入；基于输入，确定交互对象是否通过验证；以及响应于确认交互对象通过验证，基于视频图像和语音输入，生成用于与交互对象进行交互的交互数据，交互数据至少包括语音数据和动作数据；以及渲染语音数据和动作数据，使得所输出的语音与所显示的三维虚拟人物的肢体动作和面部表情中的至少一项相关联。本公开的实施例能够准确能够综合交互对象的多模态输入，进行差异化的响应。

技术领域

本公开涉及人机交互，更具体地，涉及用于人机交互的方法、装置、计算机可读存储介质。

背景技术

传统的人机交互的方案例如是：交互设备响应于交互对象(例如用户)经由鼠标等所获取的输入，动态地进行三维图像的演示，以便更为直观地展示产品、吸引用户兴趣、或者提高用户体验。

传统的人机交互的方案一般仅针对交互对象的有限维度的输入进行响应，例如仅仅基于交互对象的触摸输入、语音输入或者文字输入来进行响应，无法综合交互对象的多模态输入而进行匹配响应，也无法针对差异性的交互对象进行差异性化响应，因此难以提高用户体验。

发明内容

本公开提供一种用于人机交互的方法和装置，能够综合交互对象的多模态输入，进行差异化的响应。

根据本公开的第一方面，提供了一种人机交互的方法。该方法包括：获取交互对象的输入，输入至少包括视频图像和语音输入；基于输入，确定交互对象是否通过验证；以及响应于确认交互对象通过验证，基于视频图像和语音输入，生成用于与交互对象进行交互的交互数据，交互数据至少包括语音数据和动作数据；以及渲染语音数据和动作数据，使得所输出的语音与所显示的三维虚拟人物的肢体动作和面部表情中的至少一项相关联。

根据本发明的第二方面，还提供一种用于人机交互的装置。该设备包括：存储器，被配置为存储一个或多个程序；处理单元，耦合至存储器并且被配置为执行一个或多个程序使系统执行根据本公开的第一方面的方法。

根据本公开的第三方面，提供了一种非瞬态计算机可读存储介质。该非瞬态计算机可读存储介质上存储有机器可执行指令，机器可执行指令在被执行时使机器执行根据本公开的第一方面的方法。

提供发明内容部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了根据本公开的实施例的用于人机交互的系统100的架构图；

图2示出了根据本公开的实施例的用于人机交互的方法200的流程图；

图3示出了根据本公开的实施例的用于生成交互数据的方法300的流程图；

图4示出了根据本公开的实施例的用于确定口型信息的方法400的流程图；

图5示出了根据本公开的实施例的用于确定情绪数据的方法500的流程图；

图6示出了根据本公开的实施例的交互对象与三维虚拟人物的交互方法600的流程图；

图7示出了根据本公开的实施例的交互对象与三维虚拟人物的交互过程700的示意图；以及

图8示意性示出了适于用来实现本公开实施例的电子设备800的框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式