[发明专利]基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统

摘要

本发明公开了一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，通过采集评估者及被试者的音视频多模态数据并加以分析，以评估预测孤独症谱系障碍，包括数据采集模块，用于对试验过程中被试者、评估者的音视频多模态数据进行多视角多声道的数据采集；预处理模块同步采集的音视频数据，并使用语音识别检测和标记评估者发出指令的时间，截取该时间点后的音视频进行分析；特征提取模块对预处理后的音视频数据进行特征提取，获取语音内容、面部情感等特征；训练分类模块，将提取的组合特征作为机器学习分类器的输入进行训练，得到预测孤独症的分类器模型；预测模块，利用训练所得的分类器模型对被采集数据的被试者进行孤独症分类预测。

主权项

1.一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，其特征在于，包括：数据采集模块，用于对联合注意能力测试试验过程中被试者、评估者和道具的音视频多模态数据进行多视角多声道的同步数据采集；预处理模块，用于将所有采集的音视频数据进行同步对齐，采用语音识别检测处理音频数据，检测评估者发出注意力指引指令及互动指令的时间，并以此为起始端点截取视频一段时间后的内容，作为视频分析数据；特征提取模块，用于对预处理获取的多角度多声道音视频数据段落，进行逐帧分析处理，获取语音内容、面部情感、面部朝向、目光、手势、姿势和坐标特征；训练分类模块，用于对提取的特征进行分析，使用机器学习训练并得到针对本测试的孤独症预测分类器模型；预测模块，用于利用分类器模型对新的被试者测试音视频中提取的语音内容、语音情感、面部情感、面部朝向、目光、手势和人物或物体坐标特征进行分析，对被试者的孤独症风险进行评估预测。