[发明专利]一种舞蹈教学互动方法及智能音箱、存储介质

权利要求书

1.一种舞蹈教学互动方法，其特征在于，所述方法包括：

在舞蹈模式下，获取多模态输入数据，所述多模态输入数据包括：语音数据、文本数据、视觉数据、环境数据和用户的生理数据；

对所述多模态输入数据进行解析，获得所述多模态输入数据所指示的舞蹈曲目；

获取所述舞蹈曲目对应的舞蹈动作数据；

将所述舞蹈动作数据映射到预设虚拟形象上，以生成动态虚拟影像；

实时追踪用户的第一面部朝向，并基于所述第一面部朝向确定投影位置，使得所述投影位置位于所述第一面部朝向的方向上；

将所述动态虚拟影像投影到所述投影位置处以进行播放；

获取所述动态虚拟影像暂停播放时对应的第一影像帧；

采集所述用户的目标舞蹈动作；

将所述目标舞蹈动作与所述动态虚拟影像所包括的若干影像帧进行匹配，获得所述动态虚拟影像中与所述目标舞蹈动作最接近的第二影像帧；

从所述动态虚拟影像中获取目标虚拟影像；所述目标虚拟影像的播放开始帧对应于所述第二影像帧，所述目标虚拟影像的播放结束帧对应于所述第一影像帧；

将所述目标虚拟影像投影到所述投影位置处以进行播放。

2.根据权利要求1所述的方法，其特征在于，所述将所述动态虚拟影像投影到所述投影位置处以进行播放，包括：

根据所述第一面部朝向，确定与所述第一面部朝向正面相对的第二面部朝向；

获取所述动态虚拟影像中预设虚拟形象的第一正面朝向；

若所述第一正面朝向与所述第二面部朝向一致，将所述动态虚拟影像投影到所述投影位置处以进行播放；

若所述第一正面朝向与所述第二面部朝向不一致，按照所述第二面部朝向对所述动态虚拟影像进行旋转处理，使得旋转处理后的动态虚拟影像中预设虚拟形象的第二正面朝向与所述第二面部朝向一致；将所述旋转处理后的动态虚拟影像投影到所述投影位置处以进行播放。

3.根据权利要求2所述的方法，其特征在于，所述将所述动态虚拟影像投影到所述投影位置处以进行播放之后，所述方法还包括：

当检测到所述用户的目标互动操作时，判断所述目标互动操作是否属于用于指示暂停所述动态虚拟影像的预设互动操作；所述预设互动操作至少包括互动语音、互动动作和互动表情；

若属于所述预设互动操作，控制所述动态虚拟影像暂停播放。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

根据所述舞蹈动作数据，获取与所述动态虚拟影像同步的移动位置信息；

检测所述用户的站立平面；

在播放所述动态虚拟影像的同时，将所述移动位置信息投影到所述站立平面。

5.一种智能音箱，其特征在于，所述智能音箱包括：

数据获取模块，用于在舞蹈模式下，获取多模态输入数据，所述多模态输入数据包括：语音数据、文本数据、视觉数据、环境数据和用户的生理数据；以及，对所述多模态输入数据进行解析，获得所述多模态输入数据所指示的舞蹈曲目；以及，获取所述舞蹈曲目对应的舞蹈动作数据；

生成模块，用于将所述舞蹈动作数据映射到预设虚拟形象上，以生成动态虚拟影像；

位置确定模块，用于实时追踪用户的第一面部朝向，并基于所述第一面部朝向确定投影位置，使得所述投影位置位于所述第一面部朝向的方向上；

第一投影模块，用于将所述动态虚拟影像投影到所述投影位置处以进行播放；

帧获取模块，用于获取所述动态虚拟影像暂停播放时对应的第一影像帧；

采集模块，用于采集所述用户的目标舞蹈动作；

匹配模块，用于将所述目标舞蹈动作与所述动态虚拟影像所包括的若干影像帧进行匹配，获得所述动态虚拟影像中与所述目标舞蹈动作最接近的第二影像帧；

影像获取模块，用于从所述动态虚拟影像中获取目标虚拟影像；所述目标虚拟影像的播放开始帧对应于所述第二影像帧，所述目标虚拟影像的播放结束帧对应于所述第一影像帧；

第二投影模块，还用于将所述目标虚拟影像投影到所述投影位置处以进行播放。