[发明专利]基于多模态的交互方法、装置、存储介质及智能屏设备

说明书

本申请公开了基于多模态的交互方法、装置、存储介质及智能屏设备，涉及人工智能技术领域，多模态交互技术领域。具体实现方案为：基于多模态交互技术识别用户特征，并基于所述多模态交互技术获取用户的交互场景信息；根据所述用户特征结合所述交互场景信息，分析用户的交互意图；获取与所述交互意图对应的目标交互指令，从而采用所述目标交互指令对所述智能屏设备进行交互控制。

技术领域

本申请涉及计算机技术领域，具体涉及人工智能，多模态交互技术领域，尤其涉及基于多模态的交互方法、装置、存储介质及智能屏设备。

背景技术

多模态智能交互是未来智能交互的主要形式，随着人工智能技术的进步，人与智能设备、人与机器之间的交互趋向于更加智能、更加自然。例如智能音箱、智能机器人等，用户可以通过与电子设备的交互，获取到各种资源和服务。

发明内容

提供了一种基于多模态的交互方法、装置、存储介质及智能屏设备，能够实现结合用户特征和用户的交互环境信息共同去确定用户的交互意图，有效提升智能屏设备的多模态的智能化交互效果。

根据第一方面，提供了一种基于多模态的交互方法，应用于智能屏设备，包括：基于多模态交互技术识别用户特征，并基于所述多模态交互技术获取用户的交互场景信息；根据所述用户特征结合所述交互场景信息，分析用户的交互意图；获取与所述交互意图对应的目标交互指令，从而采用所述目标交互指令对所述智能屏设备进行交互控制。

本申请实施例的基于多模态的交互方法，通过基于多模态交互技术识别用户特征，并基于多模态交互技术获取用户的交互场景信息，并根据用户特征结合交互场景信息，分析用户的交互意图，以及获取与交互意图对应的目标交互指令，从而采用目标交互指令对智能屏设备进行交互控制，能够实现结合用户特征和用户的交互环境信息共同去确定用户的交互意图，有效提升智能屏设备的多模态的智能化交互效果。

根据第二方面，提供了一种基于多模态的交互装置，应用于智能屏设备，包括：识别模块，用于基于多模态交互技术识别用户特征；第一获取模块，用于基于所述多模态交互技术获取用户的交互场景信息；分析模块，用于根据所述用户特征结合所述交互场景信息，分析用户的交互意图；第二获取模块，用于获取与所述交互意图对应的目标交互指令，从而采用所述目标交互指令对所述智能屏设备进行交互控制。

本申请实施例的基于多模态的交互装置，通过基于多模态交互技术识别用户特征，并基于多模态交互技术获取用户的交互场景信息，并根据用户特征结合交互场景信息，分析用户的交互意图，以及获取与交互意图对应的目标交互指令，从而采用目标交互指令对智能屏设备进行交互控制，能够实现结合用户特征和用户的交互环境信息共同去确定用户的交互意图，有效提升智能屏设备的多模态的智能化交互效果。

根据第三方面，提供了一种智能屏设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例的基于多模态的交互方法。

本申请实施例的智能屏设备，通过基于多模态交互技术识别用户特征，并基于多模态交互技术获取用户的交互场景信息，并根据用户特征结合交互场景信息，分析用户的交互意图，以及获取与交互意图对应的目标交互指令，从而采用目标交互指令对智能屏设备进行交互控制，能够实现结合用户特征和用户的交互环境信息共同去确定用户的交互意图，有效提升智能屏设备的多模态的智能化交互效果。

根据第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例公开的基于多模态的交互方法。

根据本申请的技术解决了相关技术中，单纯的视觉感知或语音感知已经远远不能满足当前的人机智能交互需要的技术问题，能够实现结合用户特征和用户的交互环境信息共同去确定用户的交互意图，有效提升智能屏设备的多模态的智能化交互效果。