[发明专利]基于不当行为观测分析的孤独症谱系障碍评估装置及系统

权利要求书

1.一种基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，包括

数据获取模块，用于获取实验环境内试验过程中的音频数据及视频数据；

特征获取模块，用于根据音频数据及视频数据获取试验过程中被试者及照顾者的相关特征信息，所述特征包括眼神方向信息、头部朝向信息、手势姿势信息、手指指向信息、面部表情信息、位置坐标信息、语言情绪信息和语音内容信息中的一种或多种；

模型训练模块，用于根据所获取的特征，依次使用机器学习算法训练多个弱分类器，并将所述多个弱分类器级联成孤独症谱系障碍评估模型；其中，所述多个弱分类器包括活动轨迹不恰当弱分类器、姿势手势不恰当弱分类器、眼部动作不恰当弱分类器、语言表达不恰当弱分类器、物品使用不恰当弱分类器、社会参照范式不恰当弱分类器和兴趣趋向不恰当弱分类器中的任意组合；

预测评估模块，用于根据被试者的所述相关特征信息，通过孤独症谱系障碍评估模型进行预测评估，并得出评估结果。

2.如权利要求1所述基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，还包括

预处理模块，用于基于时间戳将视频数据与音频数据在时间轴上同步对齐。

3.如权利要求1所述基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，

预测评估模块，还用于根据试验过程中被试者的相关特征信息，对被试者进行孤独症风险系数和/或能力分析评估；其中，进行评估的内容包括自我的动作、对物品的使用、思想和感觉，所述自我的动作、对物品的使用、思想和感觉可用于表示孤独症解释的不同维度，以对孤独症进行分析。

4.如权利要求1所述基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，所述孤独症谱系障碍评估模型F_t(x)的表达式为：

其中，f_t(x)为根据机器学习算法进行训练所得到的弱分类器，α_t为相应不恰当弱分类器的权重，e_t为弱分类器对相应训练样本集的错误率。

5.如权利要求1所述基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，所述特征获取模块包括声纹识别单元、眼神方向信息获取单元、头部朝向信息获取单元、面部表情信息获取单元、手势姿势信息获取单元、语言情绪信息获取单元、语音内容信息获取单元和位置坐标信息获取单元，其中

声纹识别单元，用于通过声纹识别对音频数据中说话人进行身份识别，以确定被试者及照顾者身份，进而再通过眼神方向信息获取单元、头部朝向信息获取单元、面部表情信息获取单元、手势姿势信息获取单元、语言情绪信息获取单元、语音内容信息获取单元和/或位置坐标信息获取单元获取被试者及照顾者的相应特征信息；

眼神方向信息获取单元，用于根据视频帧中双眼特征点的像素点坐标和深度数据，确定双眼特征点的空间3D坐标；并以双眼特征点的空间3D坐标作为目光追踪神经网络模型的输入，从而获取眼神方向信息；

头部朝向信息获取单元，用于通过脸部检测获取脸部特征点，并确定其空间的3D特征点云；通过脸部特征点的3D特征点云确定脸部平面的法线向量，从而获取头部朝向信息；

面部表情信息获取单元，用于对视频帧中的被试者进行人脸识别，获取人脸矩形框并对齐后作为表情识别模型的输入，以获取被试者的表情分类；

手势姿势信息获取单元，用于通过物体检测神经网络所训练的手势检测器，获取视频帧中的手势及手指指向信息；

语言情绪信息获取单元，用于通过深度神经网络获取包含情感信息的嵌入层信息进行情感的分类，以获取语音情绪信息；

语音内容信息获取单元，用于通过语音识别将说话者的语音进行文本转换，以获取语音内容信息；

位置坐标信息获取单元，用于根据视频帧中相应被试者和/或照顾者的横坐标、纵坐标以及对应深度图中的深度数据，并结合预先获取的摄像头组件光学参数，确定被试者和/或照顾者相对摄像机坐标系的3D坐标。

6.如权利要求5所述基于不当行为观测分析的孤独症谱系障碍评估装置，其特征在于，所述特征获取模块还包括

场景道具位置坐标信息获取单元，用于获取场景道具的位置坐标信息。