[发明专利]一种基于笔和语音的协同任务神经系统疾病辅助诊断系统

权利要求书

1.一种基于笔和语音的协同任务神经系统疾病辅助诊断系统，其特征在于，包括：

数据采集单元，负责采集用户信息、既往病史、对用户进行量表评估、对用户进行笔交互与发音交互的同步任务测试，并保存用户的笔迹和音频文件；所述对用户进行笔交互与发音交互的同步任务测试，是对指定任务同步执行书写与发音的要求，其中指定任务为语料库中随机出现的一句文字；

数据预处理单元，负责对所述数据采集单元采集的数据进行预处理，从中提取用户信息、既往病史、量表结果、笔和语音交互数据，分别存放到用户数据库、医生诊断库、医学知识库、病例数据库中；

多通道交互特征获取单元，负责根据所述病例数据库中的笔和语音交互数据，提取笔和语音通道的交互特征与通道间的多任务协同特征，并对特征进行融合与选择，得到训练病理模型的输入样本；所述多通道交互特征获取单元包括特征提取模块，所述特征提取模块根据发声障碍和构音障碍提取语音通道特征，从笔交互任务中提取运笔特征和绘图特征作为笔通道特征，并提取笔通道与语音通道之间交互信息相关性较强的协同特征；所述协同特征包括笔通道特征与语音通道特征表意的相关性矩阵，笔通道特征与语音通道特征表意的同步性描述以及互斥性描述；所述多通道交互特征获取单元包括特征融合模块，所述特征融合模块将语音通道的特征、笔通道的特征、语音通道和笔通道的多任务协同特征进行融合得到多通道融合特征；所述多通道交互特征获取单元包括特征选择模块，所述特征选择模块对多通道融合特征进行降维得到多通道交互特征；

模型构建与反馈单元，负责采用多通道交互特征进行模型训练得到病理模型，然后将所述病理模型与所述用户数据库、所述医生诊断库、所述医学知识库中的相关数据融合训练得到混合决策模型，将所述混合决策模型的最终判别结果反馈给用户。

2.如权利要求1所述的系统，其特征在于，所述数据采集单元采集的所述用户信息包括性别、年龄、受教育程度；所述既往病史包括用户的遗传病史与历史疾病检测情况，并记录多项检测生理指标；所述对用户进行量表评估，是通过用户与专业医生或是经过培训的人交流完成不同量表的测试题目，并根据完成程度对结果进行评分。

3.如权利要求1所述的系统，其特征在于，所述数据采集单元采用的笔交互设备是普通的数位屏和数位笔，录音设备是普通的外置麦克风，要求被试者在自然的状态下同步完成笔和语音的交互任务，即书写的同时进行发音。

4.如权利要求1所述的系统，其特征在于，所述数据预处理单元根据实际需求，去除空的、不符合条件的笔迹数据与语音数据。

5.如权利要求1所述的系统，其特征在于，所述模型构建与反馈单元包括模型构建模块，所述模型构建模块利用多通道交互特征训练病理模型，得到病理模型诊断结果，并将病理模型诊断结果与所述用户数据库、所述医生诊断库、所述医学知识库中的数据进行融合训练混合决策模型，得到最终的判决结果。

6.如权利要求1所述的系统，其特征在于，所述模型构建与反馈单元包括决策反馈模块，所述决策反馈模块将所述混合决策模型的混合决策结果通过多通道信息分流优化，以视觉通道与听觉通道结合的方式对用户进行实时诊断反馈。