[发明专利]基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统

权利要求书

1.一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，其特征在于，包括：

数据采集模块，用于对联合注意能力测试试验过程中被试者、评估者和道具的音视频多模态数据进行多视角多声道的同步数据采集；

预处理模块，用于将所有采集的音视频数据进行同步对齐，采用语音识别检测处理音频数据，检测评估者发出注意力指引指令及互动指令的时间，并以此为起始端点截取视频一段时间后的内容，作为视频分析数据；

特征提取模块，用于对预处理获取的多角度多声道音视频数据段落，进行逐帧分析处理，获取语音内容、面部情感、面部朝向、目光、手势、姿势和坐标特征；

训练分类模块，用于对提取的特征进行分析，使用机器学习训练并得到针对本测试的孤独症预测分类器模型；

预测模块，用于利用分类器模型对新的被试者测试音视频中提取的语音内容、语音情感、面部情感、面部朝向、目光、手势和人物或物体坐标特征进行分析，对被试者的孤独症风险进行评估预测；

所述特征提取模块包括声纹识别单元、语音识别单元、情感识别单元、坐标估计单元、目光朝向估计单元、手势检测单元、姿态识别单元；

所述坐标估计单元对场景中的被试者以及评估者的空间位置进行估计，首先进行人物检测，然后进行人物身份重识别，最后再对人物矩形框进行空间转换进行位置估计；

所述语音识别单元将说话者的语音转换为文本内容；

所述声纹识别单元根据声纹识别说话人身份；

所述情感识别单元对被试者实施语音情感以及面部表情的识别，语音情感识别使用基于深度神经网络提取包含情感信息的特征进行情感的分类，而面部表情同样使用深度神经网络模型，输入被试者的脸部矩形框图像，输出其表情分类；

所述目光朝向估计单元对被试者的脸部朝向以及目光注视方向进行估计，能够提取被试者转头反应时间、转头角度、眼神注视方向、眼神注视时间；

所述手势检测单元检测被试者的的手指物动作，使用物体检测模型框架进行指东西手势的检测，当被试者出现指物手势的时候，返回该手势的RGB图像矩形框以及增加一次计数；

所述姿态识别单元对被试者使用深度神经网络进行估计人体姿态的分析估计；

其中，所述联合注意能力测试试验的设计包含如下：

第一类测试为自发性相互注意力测试；

第二类测试为响应性相互协调注意力测试；

第三类测试为相互性社会互动要求行为测试；

第四类测试为相互性展示与分享测试；

通过上面四类测试试验的一种或几种组合对被试者的孤独症风险进行评估预测，每一类测试分别评估被试者不同的孤独症表现形式，进而全面评估被试者的孤独症风险；

所述联合注意能力测试试验的步骤如下：

步骤S0：预备环节：在试验开始前，进行场景准备，调试设备，将道具摆放至制定位置；在试验开始后，评估者带领被试者就坐与预设的初始座位，相互熟悉，进入试验状态；

步骤S1：近处吸引环节，为自发性相互注意力测试：评估者启动桌面上的第一个玩具，第一个玩具具有运动轨迹，并用目光关注第一个玩具，观察被试者的目光是否跟随第一个玩具，如果是，至下一步骤；如果不是，评估者通过语言提醒被试者观察第一个玩具，继续观察被试者注意力，重复1次，至下一步骤；

步骤S2：远处吸引环节，为响应性相互协调注意力测试：评估者使用遥控使被试者侧方或后面的第二个玩具露出在场景中，其中第二个玩具默认摆放在其他被试者难以独立获取的地方，并同时看向并指向启动的玩具，其中第二个玩具不发声音且可运动的玩具，观察被试者是否看向或指向第二个玩具并表达喜悦，如果有，至下一步骤；如果否，评估者通过语言提醒被试者观察第二玩具，继续观察被试者注意力，重复1次，如果失败则测试结束，如果成功则至下一步骤；

步骤S3：求助环节，为相互性社会互动要求行为测试，包括如下步骤：

步骤S301：观察被试者是否自主起身接近第二个玩具，如果有，至步骤S302，如果没有，评估者用语言提示被试者可起身拿取玩具，继续观察被试者行动，重复1次，若失败则测试结束，若成功则至步骤S302；

步骤S302：观察被试者是否独立成功拿取第二个玩具，如果是，至步骤S4；如果否，至步骤S303；

步骤S303：继续观察被试者是否看向评估者或者用语言求助，如果是，评估者帮助获取第二个玩具，至步骤S4；如果否，评估者询问被试者是否需要帮助，观察被试者反应，并且帮助获取第二个玩具，至步骤S4；

步骤S4：分享环节，为相互性展示与分享测试：继续观察被试者是否看向评估者分享拿到第二个玩具的喜悦，被试者是否分享或炫耀侧方玩具，如果是，试验结束；如果否，评估者询问被试者是否愿意分享第二个玩具，观察被试者是否用语言或行动表达分享意图，试验结束。

2.根据权利要求1所述的孤独症早期筛查系统，其特征在于，所述数据采集模块包括遥控器、多个RGB-D摄像头、麦克风阵列和/或可穿戴麦克风，所述遥控器用于吸引儿童注意力的可控制可动作无声物体、控制动作物体进行动作；多个所述RGB-D摄像头多角度地隐蔽地布置在场景中，同步输出高质量像素的RGB图像和深度图像；所述麦克风阵列和/或可穿戴麦克风采集高质量的多通道的被试者、评估者的语音并抑制噪声和回声。