[发明专利]基于多模态信息的服刑人员心理健康状态评估方法及系统

权利要求书

1.基于多模态信息的服刑人员心理健康状态评估系统，其特征是，以生理信号、表情和语言表达多模态信息为基础，智能测评、确定心理状态评估向量，计算评估值与标准值的欧几里得距离，根据距离评估量化待测服刑人员的心理健康状态，并辅助预测再犯罪可能性，包括：

服刑人员犯罪类型区分模块：依据服刑人员录入的指纹信息、已知的犯罪类型和服刑人员的指纹信息之间的一一对应关系，对服刑人员的犯罪类型进行识别，在服刑人员入狱时，狱警会对服刑人员的犯罪类型进行数据记录，并将犯罪类型与服刑人员的指纹信息进行关联；

虚拟现实情感激发模块：依据服刑人员的犯罪类型，从数据库中调取相应的虚拟现实场景，通过虚拟现实头盔显示器显示给服刑人员观看；

训练数据采集模块：获取作为训练样本的服刑人员在虚拟现实场景体验后的生理信号、面部表情图像和语音信号；从获取的信号中提取生理特征、面部表情特征和语音特征；

训练数据标注模块：为训练样本中每个服刑人员的生理特征、面部表情特征和语音特征标注心理状态评估向量；

机器学习情感预测模型训练模块：利用提取生理特征、面部表情特征、语音特征和已标注的心理状态评估向量，对神经网络模型进行训练；得到预先训练好的神经网络模型；

改造良好服刑人员数据采集模块：获取已改造好的服刑人员，在虚拟现实场景体验后的生理信号、面部表情图像和语音信号；

改造良好服刑人员数据特征提取模块：从获取的信号中提取生理特征、面部表情特征和语音特征；

待测服刑人员数据采集模块：获取待测服刑人员，在虚拟现实场景体验后的生理信号、面部表情图像和语音信号；

待测服刑人员数据特征提取模块：从获取的信号中提取生理特征、面部表情特征和语音特征；

第一心理状态评估向量输出模块：将已改造好的服刑人员的生理特征、面部表情特征和语音特征输入到预先训练好的神经网络模型中，输出已改造好的服刑人员的心理状态评估向量；

第二心理状态评估向量输出模块：将待测服刑人员的生理特征、面部表情特征和语音特征输入到预先训练好的神经网络模型中，输出待测服刑人员的心理状态评估向量；

待测服刑人员心理健康状态评估模块：计算待测服刑人员与已改造好的服刑人员的心理状态评估向量的欧几里得距离；根据距离评估待测服刑人员心理健康状态。

2.如权利要求1所述的基于多模态信息的服刑人员心理健康状态评估系统，其特征是，所述心理状态评估向量，是一个12行*1列的向量，每行包括的元素值是每种情感状态的量化值，所述量化值为整数，所述量化值的取值范围是-4，-3，-2，-1，0，1，2，3，4；12行元素就包括12种情感状态，所述12种情感状态，包括：愤怒、清醒、受控、友好、平静、支配、痛苦、感兴趣、谦卑、兴奋、拘谨和有影响力。

3.如权利要求1所述的基于多模态信息的服刑人员心理健康状态评估系统，其特征是，为训练样本中每个服刑人员的生理特征、面部表情特征和语音特征标注心理状态评估向量，是基于PAD情绪识别量表进行标注：

对同一个受试者在同一个虚拟现实场景体验后，采集受试者的三维情绪识别量表；一共采集N次；

对同一个受试者在同一个虚拟现实场景下，将N次采集的三维情绪识别量表的值进行求均值处理，得到的心理状态评估向量即为当前受试者在同一个虚拟现实场景体验后的心理状态评估向量；

对同一个受试者，更换下一个虚拟现实场景进行体验，获得下一个虚拟现实场景的心理状态评估向量；进而得到同一个受试者，在不同虚拟现实场景下的心理状态评估向量；

然后更换下一个受试者，以此类推，即可得到不同受试者在不同虚拟现实场景体验下的心理状态评估向量；

然后，利用得到的不同受试者在不同虚拟现实场景体验下的心理状态评估向量，对不同受试者在不同虚拟现实场景体验下提取到的生理特征、面部表情特征和语音特征进行标注。