[发明专利]基于多模态信息的自闭症辅助诊断系统、设备及介质

权利要求书

1.基于多模态信息的自闭症辅助诊断系统，其特征是，包括：

自闭症识别模块，将融合后的待测特征输入到训练好的BP神经网络中，输出待测试人员在当前虚拟现实场景下的情绪标签；如果在同一个虚拟现实场景下，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量超过设定阈值，则表示待测试人员为自闭症患者，BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签不一致的数量占总标签数量的比值，将该比值作为自闭症患者的患病程度；如果BP神经网络输出的情绪标签与当前虚拟现实场景真实情绪标签一致，则表示待测试人员为非自闭症患者；

待测数据采集模块，根据情绪标签构建若干个虚拟现实场景，情绪标签与虚拟现实场景之间是一一对应关系；采集待测试人员在不同虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据；

待测数据特征提取模块，对每个虚拟现实场景下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；

待测数据特征融合模块，对每个虚拟现实场景下提取的特征按照串联的方式进行特征融合；

BP神经网络构建模块，构建BP神经网络；

神经网络训练模块，将训练数据中不同虚拟现实场景下对应受试者的融合特征和受试者的情绪标签，输入到BP神经网络中，对BP神经网络进行训练，直至损失函数值最小，训练结束，得到训练好的BP神经网络。

2.如权利要求1所述的系统，其特征是，还包括：

训练数据采集模块，从基于生理信号的情绪识别数据库DEAP中提取受试者在不同情绪状态下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据；

训练数据特征提取模块，对脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据进行特征提取；

训练数据特征融合模块，将采集的特征进行串联，得到融合后的每个受试者的特征。

3.如权利要求1所述的系统，其特征是，所述待测试人员通过佩戴头盔显示器和虚拟现实眼镜来观看虚拟现实场景，所述待测试人员通过佩戴耳机来收听虚拟现实场景的音效；测试人员佩戴的数据手套触摸所处虚拟现实场景。

4.如权利要求1所述的系统，其特征是，所述脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率数据和心率数据的具体步骤为：

从脑电信号中提取脑电信号的时域特征和频域特征；从肌电信号中提取肌电信号的时域特征和频域特征；从眼电信号中提取眼电信号的时域特征和频域特征；从皮肤电反应信号中提取皮肤电反应信号的时域特征和频域特征；从体温数据中提取体温的平均值；从呼吸频率数据中提取呼吸频率的平均值；从心率数据中提取心率的平均值。

5.如权利要求1所述的系统，其特征是，建立心理情绪坐标，所述心理情绪坐标包括：X轴和Y轴，所述X轴与Y轴相互垂直，将心理情绪划分为第一、第二、第三和第四象限；

第一象限中包括的情绪状态：愉快、满意、专注、期待、快乐、欢乐和兴奋；

第二象限中包括的情绪状态：紧张、警觉、警惕、恐惧和担心；

第三象限中包括的情绪状态：伤心、厌烦、厌倦、无精打采和挫折；

第四象限中包括的情绪状态：称心、关注、释放和平静；

如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态一致，则表示情绪反馈灵敏，积3分；

如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态在心理情绪坐标的相同象限，则表示反馈恰当，积2分；

如果虚拟现实场景所设定情绪标签与受试者通过生理信号预测情绪状态在心理情绪坐标的不同象限，则表示错误反馈，积0分；

对积分进行累积求和，如果求和结果处于0到20分，表示受试者为高风险自闭症；如果求和结果处于20到30分，表示受试者为低风险自闭症；如果求和结果处于30到40分，表示受试者为正常；如果求和结果处于40到60分，表示受试者为良好。