[发明专利]基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统

说明书

本发明公开了一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，通过采集评估者及被试者的音视频多模态数据并加以分析，以评估预测孤独症谱系障碍，包括数据采集模块，用于对试验过程中被试者、评估者的音视频多模态数据进行多视角多声道的数据采集；预处理模块同步采集的音视频数据，并使用语音识别检测和标记评估者发出指令的时间，截取该时间点后的音视频进行分析；特征提取模块对预处理后的音视频数据进行特征提取，获取语音内容、面部情感等特征；训练分类模块，将提取的组合特征作为机器学习分类器的输入进行训练，得到预测孤独症的分类器模型；预测模块，利用训练所得的分类器模型对被采集数据的被试者进行孤独症分类预测。

技术领域

本发明涉及图像处理、语音识别领域，尤其涉及一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，基于联合注意能力测试系统，采集评估者及被试者的音视频多模态数据并加以分析，以评估预测孤独症谱系障碍的系统。

背景技术

孤独症谱系障碍(Autism Spectrum Disorder，ASD)，是一种常见的儿童神经发育障碍性疾病。由于孤独症主要影响社交沟通、行为、兴趣等方面的能力，其筛查评估主要通过经验丰富的专业医疗人员进行人工诊断来实现。然而，这对医疗工作人员的专业度和经验度要求极高，这使得纯人工筛查方式难以被普及。因此，越来越多的科研团队投入到研究如何使用人工智能设备辅助对孤独症尽心评估。其中，使用人工智能装置模仿医疗工作者试验测试的方式对儿童进行测评，是一种有效的方式。而这一类试验中，进行“范式及范式组合的测试”试验能够有效结构化、标准化试验环节，达到规范的试验筛查效果。

至今为止，关于孤独症儿童注意力评估的人工智能辅助系统研究，并不多。申请号为CN201811220432.8的中国专利申请“基于非社会性声音刺激行为范式的孤独症初级筛查装置”基于语音处理，计算机视觉，采集被试观测人的面部，眼神以及手势信息并加以分析，以评估孤独症谱系障碍风险系数的早期筛查装置。

申请号为CN201811619354.9的中国专利申请“一种用于孤独症共同注意诊断范式的检测系统及使用方法”包括独立摄像头、深度传感器、计算机和目标图片，通过对人体的动作识别、脸部检测和视线追踪，对孤独症共同注意诊断范式进行检测，有效降低检测的人工成本和诊疗费用，保证检测的客观性和一致性，然而，该专利申请采用了较少的行为测试对被试者进行孤独症风险的评估。

现有技术也有提出通过使用发声玩具吸引儿童注意力，分析试验音视频多模态数据以进行评估，另有现有技术提出通过评估者语音提示及指物来引导被试者关注侧方被指物体，分析单一角度摄像头的视频画面，以对其共同注意力进行评估。这些方法，只分析了儿童接受刺激后的短时间个人行为，均未考虑儿童接受刺激后和外界的交流互动及不可掌控的多种其他活动。而且，角度单一的视频分析，难以精确捕捉完整的试验数据，准确评估儿童患孤独症的风险系数。

如果能够在结构化的测试中，从多个角度利用多模态传感器完整获取并分析儿童接受物品或者他人刺激后的注意力变化以及后续互动内容(如分享互动及求助内容等)的数据，能够更有效、更精确地预测儿童的孤独症患病系数。

发明内容

针对上述技术问题，本发明的目的在于提供一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统。本发明涉及图像处理、语音识别领域，尤其涉及一种基于联合注意能力测试的孤独症早期筛查系统，采集全部试验人员，包括被试者(儿童)、评估者(医疗工作人员)或照顾者(家长，主要为父母或与被试者共同生活2周以上的人)，及物品产生吸引注意力刺激及后续连贯反应的音视频数据并加以分析，以评估预测孤独症谱系障碍的系统。

为实现上述目的，本发明是根据以下技术方案实现的：

一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，其特征在于，包括：

数据采集模块，用于对联合注意能力测试试验过程中被试者、评估者和道具的音视频多模态数据进行多视角多声道的同步数据采集；