[发明专利]一种智能音响及其播放控制方法

说明书

本发明公开了一种智能音响及其播放控制方法，其中，智能音响用于依据人体姿态控制智能音响中多个音频文件的播放动作，包括存储模块，用于存储多个音频文件、至少一个视频文件、总视频数据模型、单视频数据模型和指令控制模型；索引构建模块，用于根据该总视频数据模型构建一级索引，以及根据至少一个单视频数据模型构建一级索引下的二级索引；中央控制模块，用于将至少一个视频文件分别与其中一个音频文件建立关联关系，以及获取一视频帧串流，依次提取视频帧串流中的视频帧并与指令控制模型进行比对，以控制音频文件的播放；索引确定模块；播放模块，包括一显示屏和一扬声器，用于根据二级索引确定视频帧串流对应的音频文件及其播放点。

技术领域

本发明涉及智能音响领域，具体而言，涉及一种智能音响及其播放控制方法。

背景技术

随着经济的快速发展，人们的生活水平也有了极大的提高，越来越多的人更加注重生活质量的提高以及更加关注身体健康。健身运动，尤其是体育舞蹈类的健身运动日益成为许多人的爱好，于这类健身运动中往往会播放高品质的音乐，以使得用户随着音乐的节奏而执行相应的动作。但是，目前健身房中用的音响设备大多需要人为操作才能播放音乐，尤其是在舞蹈学习训练的过程中，需要重复的手动选定音乐片段，不仅耗时耗力，而且很容易中断运动的热情。因此，有研发人员开始考虑是否能通过相应的人体动作来控制音乐的播放，以免于手动操作带来的上述不便。

深度学习在图像分类、图像识别方面获得了极大的进步，也逐渐应用于识别图像中的动作，但是，视频中的动作识别一直都是深度学习领域的一个难点，这是由于视频帧只是一个二维平面，人物不能全面的展现出肢体动作。传统方法中采用top-down的方法，即先检测人，然后对每一个人进行姿态估计，但是当人离得比较近的时候，检测人体的方法无效；并且人数越多，检测所花的时间约多，不能做到实时检测。在《Realtime Multi-Person2D Pose Estimation using Part Affinity Fields》CVPR 2017论文中最大的创新点在于提出了一种PAF的方法，能够有效的针对多人进行姿态估计，同时在保证精度的情况下，可以做到实时的效果。该论文中的整个检测过程是输入一张图像，然后经过7个处理阶段得到PCM和PAF，然后根据PAF生成一系列的偶匹配，由于PAF自身的矢量性，使得生成的偶匹配很正确，最后合并为一个人的整体骨架。由于这个过程是先确定关键点的位置，以及方向，然后根据方向及位置信息，将点连接成线，又将线连接成一个人的整体骨架，这也就是采用了bottom-up，即由底向上的方式。但是，这种方式仍然不能实现通过人体姿态控制音响的播放。

发明内容

本发明提供一种智能音响及其播放控制方法，用以通过人体姿态控制音响的播放。

为达到上述目的，本发明提供了一种智能音响，用于依据人体姿态控制智能音响中多个音频文件的播放动作，其包括：

存储模块，用于存储多个音频文件、至少一个视频文件、总视频数据模型、单视频数据模型和指令控制模型，其中，总视频数据模型是提取每一视频文件的前N秒动作信息而建立，单视频数据模型是分别提取每一视频文件中每隔m秒的动作信息而建立，指令控制模型包括开始指令、暂停指令、继续播放指令、从头开始播放指令和下一首指令，指令控制模型中的每一指令对应一人体姿态并且每一指令用于控制音频文件执行相应播放动作；

索引构建模块，用于根据该总视频数据模型构建一级索引，以及根据至少一个单视频数据模型构建一级索引下的二级索引；

中央控制模块，用于将至少一个视频文件分别与其中一个音频文件建立关联关系，以及获取一视频帧串流，依次提取视频帧串流中的视频帧并与指令控制模型进行比对，以控制音频文件的播放；