[发明专利]基于人体动作控制听觉、视觉效果的实时控制方法及系统

权利要求书

1.一种基于人体动作控制听觉、视觉效果的实时控制方法，其特征在于，包括：

实时获取当前人体动作信息，所述当前人体动作信息存储在含时间量的动作张量数据流表内；

根据该动作张量数据流表内的数据判定当前人体动作是否与数据库中预设动作数据之一相匹配；

当该动作张量数据流表内的数据与数据库中某预设动作数据相匹配时，根据效果控制模块协议将当前人体动作转化成为与当前人体动作相应的控制信号，所述控制信号信号用于对产生视觉效果、和/或、听觉效果的装置进行控制；

通过与当前人体动作相应的控制信号控制具有听觉效果、和/或、视觉效果装置内相应的听觉内容和/或、视觉内容，从而产生相应的听觉效果、和/或、视觉效果。

2.根据权利要求1所述的基于人体动作控制听觉、视觉效果的实时控制方法，其特征在于，在所述实时获取当前人体动作信息之前，还包括：

通过视频采集设备实时采集当前人体动作，自所采集的当前人体动作内提取多个帧画面；其中，所述视频采集设备包括：台式电脑、平板电脑、手机设备；

针对每个帧画面，自该帧画面内提取人体关键节点的位置信息，所述人体关键节点的位置信息包括：X、Y、Z，通过X、Y共同表示该帧画面在处理分辨率下相应的人体节点的像素位置；其中，X表示该帧画面内人体关键节点的横坐标，Y表示该帧画面内人体关键节点的纵坐标，Z为可信度；

通过第一数量的人体关键节点位置信息组成当前人体动作信息，将当前人体动作信息存储在含时间量的动作张量数据流表内；所述含时间量的动作张量数据流表包含：当前人体动作的采集时间点、当前人体动作信息。

3.根据权利要求2所述的基于人体动作控制听觉、视觉效果的实时控制方法，其特征在于，所述人体关键节点包括：左眼、右眼、左耳、右耳、鼻子、左手腕、右手腕、左手肘、右手肘、左肩、右肩、髋部左侧、髋部右侧、左膝盖、右膝盖、左脚腕、右脚腕。

4.根据权利要求2所述的基于人体动作控制听觉、视觉效果的实时控制方法，其特征在于，所述针对每个帧画面，自该帧画面内提取人体关键节点的位置信息，人体关键节点的位置信息包括：X、Y、Z，通过X、Y共同表示该帧画面在处理分辨率下相应的人体节点的像素位置，具体包括：

针对每个帧画面，自该帧画面内提取人体关键节点的位置信息，人体关键节点的位置信息包括：X、Y、Z，采用与帧画面分辨率相匹配的线性转换对X、Y进行线性转换，使得线性转变后的X、Y适应不同显示分辨率的输入设备或输出设备；将线性转换后的位置信息X、Y、Z作为最终的人体关键节点的位置信息；所述第一数量的线性转换后的位置信息X、Y、Z用于组成当前人体动作信息。

5.根据权利要求2所述的基于人体动作控制听觉、视觉效果的实时控制方法，其特征在于，所述根据该动作张量数据流表内的数据判定当前人体动作是否与数据库中预设动作数据之一相匹配；具体包括：

将第一数量的人体关键节点位置信息与数据库中每个预设动作的位置信息分别进行比较；

将最接近某预设动作的位置信息、并且与某预设动作的位置信息之间的误差小于预定误差阈值的某预设动作判定为当前人体动作；

所述基于人体动作控制听觉、视觉效果的实时控制方法，还包括：

将所判定的当前人体动作存储在含时间量的动作张量数据流表中动作序列最新位，最新位的当前人体动作用于被转换成与当前人体动作相应的控制信号。