[发明专利]婴幼儿动作分析系统和基于动作的婴幼儿视力分析系统

权利要求书

1.一种婴幼儿动作分析系统，其特征在于，包括：

人脸区域生成模块，用于逐帧识别输入视频中的人脸，得到人脸区域；

目标视频提取模块，用于预测所述人脸区域对应人物的年龄，去掉除婴幼儿人脸区域之外的人脸区域，得到目标视频；

关键部位定位模块，用于定位目标视频中婴幼儿的关键部位，针对不同的关键部位裁剪出相应的关键部位视频；

特定动作分析模块，用于分析所述关键部位视频中是否出现特定动作，得到关于视力的分析结果；

所述关键部位包括躯干、手部、头部、脸部、眼部的两种或以上。

2.根据权利要求1所述的婴幼儿动作分析系统，其特征在于，所述特定动作包括异常注视动作、异常手部动作、异常眼球运动的一种或多种。

3.根据权利要求1所述的婴幼儿动作分析系统，其特征在于，所述关键部位定位模块，具体包括：

关节点定位模块，用于对目标视频通过二分支的卷积神经网络重复迭代得到关节部位定位图，定位目标视频中婴幼儿的关节点；

肢体部分定位模块，用于对目标视频通过二分支的卷积神经网络重复迭代得到肢体部分定位图，定位目标视频中婴幼儿的肢体部分；

关键部位获取模块，用于根据所定位的关节点和肢体部分定位婴幼儿的关键部位；

视频裁剪模块，用于针对不同的关键部位裁剪出相应的关键部位视频。

4.根据权利要求1所述的婴幼儿动作分析系统，其特征在于，所述特定动作分析模块，具体用于采用基于卷积神经网络的时序分割模型TSN(Temporal Segment Network)分析所述关键部位视频中是否出现特定动作，得到关于视力的分析结果。

5.根据权利要求4所述的婴幼儿动作分析系统，其特征在于，所述特定动作分析模块，具体包括：

采样模块，用于将关键部位视频进行稀疏采样生成多个短片段；

空间流卷积模块，用于将每个短片段以RGB格式输入空间流卷积网络进行卷积，得到特定动作出现的第一预测得分；

时间流卷积模块，用于将每个短片段以光流格式输入时间流卷积网络进行卷积，得到特定动作出现的第二预测得分；

融合模块，用于采用段共识函数G(The segmental consensus function)对多个短片段的第一预测得分和第二预测得分进行融合，得到段共识；

预测模块，用于采用预测函数H根据段共识预测关键部位视频中出现特定动作的概率，并将所述概率作为关于视力的分析结果。

6.根据权利要求1所述的婴幼儿动作分析系统，其特征在于，所述人脸区域生成模块，具体用于对逐帧视频采用多任务级联卷积神经网络Mt-CNN(Multitaskcascadedconvolutional network)进行人脸识别，得到人脸区域。

7.根据权利要求1所述的婴幼儿动作分析系统，其特征在于，所述人脸区域生成模块，具体包括：

第一CNN模型，用于在逐帧视频中产生候选区域；

第二CNN模型，用于从候选区域中去除非人脸区域，得到人脸区域；

第三CNN模型，用于输出人脸区域中的人脸关键点位置，根据所述人脸关键点位置调整人脸区域。

8.一种婴幼儿动作分析系统，其特征在于，包括如权利要求1至7任一项所述的婴幼儿动作分析系统，还包括：

视频播放模块，用于播放预设视频；

视频采集模块，用于拍摄婴幼儿观看所述预设视频时的视频作为输入视频。

9.一种基于动作的婴幼儿视力分析系统，其特征在于，包括如权利要求1至8任一项所述的婴幼儿动作分析系统，还包括：

视力评估模块，用于将关于视力的分析结果输入分类器，并输出婴幼儿视力的受损概率。