[发明专利]基于多模态信息的服刑人员心理健康状态评估方法及系统

说明书

本公开公开了基于多模态信息的服刑人员心理健康状态评估方法及系统，获取已改造好的服刑人员和待测服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和语音信号，从获取的信号中提取生理信号特征、面部表情图像特征和语音信号特征；将已改造好的服刑人员的生理信号特征、面部表情图像特征和语音信号特征输入到预先训练好的神经网络模型中，输出已改造好的服刑人员的心理状态评估向量；将待测服刑人员的生理信号特征、面部表情特征和语音信号特征输入到预先训练好的神经网络模型中，输出待测服刑人员的心理状态评估向量；计算待测服刑人员与已改造好的服刑人员的心理状态评估向量的距离；根据距离评估服刑人员心理健康状态。

技术领域

本公开涉及基于多模态信息的服刑人员心理健康状态评估方法及系统。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

罪犯心理卫生，是指为使罪犯在服刑期间保持心理健康，减少和避免发生心理疾病的措施和方法。主要有：(1)优化服刑环境。(2)帮助、指导罪犯学会正确运用自我心理调节机制，及时进行自我心理调节，以免发生心理失衡。(3) 建立心理咨询和治疗机构，对产生心理疾患和遇到严重心理挫折、心理压力的罪犯，及时进行心理疏导和治疗。

世界各国监狱通常使用两种量表对罪犯进行心理测验：(1)通用的人格量表，如艾森克人格问卷、明尼苏达多相人格测量表、卡特尔十六种人格因素问卷等，通过测试了解罪犯的人格特征和人格结构中的道德感、法制感、抑制力、调节力等状况。(2)专用于检测犯罪心理结构状况和预测再犯罪可能性的量表，各国以自身社会政治、经济、文化等特点独立研制。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

现有的心理状态评估没有考虑到服刑人员这个特殊群体，而且，也没有考虑到利用一些电子设备采集生理信号，将多种生理信号进行处理，以实现对服刑人员心理健康状态的快速评估和精准评估，现有技术主要依赖于心理专家，主观性太强。

发明内容

为了解决现有技术的不足，本公开提供了基于多模态信息的服刑人员心理健康状态评估方法及系统；本公开将生理信号同表情、语音等其他方式进行融合，通过人工神经网络的智能识别实现更加准确的心理状况评估，有效进行改造效果评价同时指导服刑人员的改造。

第一方面，本公开提供了基于多模态信息的服刑人员心理健康状态评估方法；

基于多模态信息的服刑人员心理健康状态评估方法，所述方法不用于疾病的诊断；所述方法，包括：

获取已改造好的服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和语音信号，从获取的信号中提取生理信号特征、面部表情图像特征和语音信号特征；

获取待测服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和语音信号，从获取的信号中提取生理信号特征、面部表情特征和语音信号特征；

将已改造好的服刑人员的生理信号特征、面部表情图像特征和语音信号特征输入到预先训练好的神经网络模型中，输出已改造好的服刑人员的心理状态评估向量；

将待测服刑人员的生理信号特征、面部表情特征和语音信号特征输入到预先训练好的神经网络模型中，输出待测服刑人员的心理状态评估向量；

计算待测服刑人员与已改造好的服刑人员的心理状态评估向量的距离；

根据距离对服刑人员心理健康状态进行评估。

第二方面，本公开还提供了基于多模态信息的服刑人员心理健康状态评估系统；

基于多模态信息的服刑人员心理健康状态评估系统，包括：

改造良好服刑人员数据采集模块：获取已改造好的服刑人员，在虚拟现实情景体验后的生理信号、面部表情图像和语音信号；