[发明专利]一种基于智能手环的心理状态监测评估系统

权利要求书

1.一种基于智能手环的心理状态监测评估系统，其特征在于，包括：智能手环、移动端app和云端服务器；

所述智能手环主要完成语音和心电数据的采集和上传，具体包括以下模块：

语音采集模块，部署在智能手环外侧的拾音器，用于记录用户日常的语音数据；

心电采集模块，部署在智能手环内侧贴近皮肤的心电传感器，用于记录用户聊天时的心电数据；将心电数据采集并通过控制模块将数据传输给通讯模块；

控制模块，部署在智能手环正上方，用于接收语音数据和心电数据，然后生成控制命令发送给显示模块，同时将语音数据和心电数据通过通讯模块发送给云端服务器；

显示模块，部署在智能手环外侧的显示器，用于接收控制模块发送的控制命令，并按照控制命令进行显示；

数据存储模块，部署在智能手环正下方，为可读、写存储单元，用于存储用户的身份信息、用户预设重要信息，以及存储音数据和心电数据；

通讯模块，部署在智能手环内侧，支持多种通讯功能，包括蓝牙、WIFI和移动通讯；与移动端app连接，实现智能手环与云端服务器的通信；

所述移动端app用于智能手环的功能设置和管理，并将从云端服务器评估得到的用户心理状态结果进行显示；

所述云端服务器通过通讯模块与智能手环和移动端app连接，具体包括以下模块：

模型训练模块，构建了基于Transformer的语音情感模型和基于卷积神经网络CNN的心电情感模型，通过已有的语音数据和心电数据训练语音情感模型和心电情感模型，将训练好的语音情感模型和心电情感模型供心理评估模块使用；

心理评估模块，当智能手环将语音数据和心电数据发送给云端服务器后，通过语音情感模型和心电情感模型分别对语音数据和心电数据进行处理，得到语音情感分类和心电情感分类，然后通过融合算法评估用户心理状态结果，再返回到移动端app；

其中，基于Transformer模型的语音情感模型和基于CNN的心电情感模型的训练方法为：

(1)、采集志愿者的语音数据和心电数据，建立语音数据库和心电数据库；

(2)、对语音数据和心电数据分段处理，并进行人工标记，然后通过心里学专家的专业判断，分别对每段语音数据和心电数据标记出不同的心理状态，高兴情绪记为h，平静情绪记为s，消极情绪记为n，抑郁情绪记为d，最后将标记结果一起存入语音数据库和心电数据库；

(3)、对每段语音数据和心电数据进行预处理；

(3.1)、对语音数据进行预加重、降噪、分帧以及滤波处理，然后提取到FBank特征向量；

(3.2)、对心电数据先进行降噪预处理，再进行分帧处理，使心电数据与语音数据统一采样点，最后使用小波变换来提取小波系数作为特征向量；

(4)、将每段语音数据提取的FBank特征向量组成语音数据序列，记为X₁；每段心电数据提取小波系数组成心电数据序列，记为X₂；

(5)、语音数据序列X₁进行处理；

(5.1)、设置最大句长max_num_tokens，对超过max_num_tokens的句子进行截断，不足max_num_tokens的句子补0；

(5.2)、将步骤(5.1)处理后的语音数据序列进行MPC的操作，得到新的语音数据序列

(5.3)、将语音数据序列输入至基于Transformer模型的语音情感模型，输出基于语音数据的4种心理情感类别结果，即高兴情绪、平静情绪、消极情绪和抑郁情绪；

(6)、将心电数据序列X₂输入至基于CNN的心电情感模型，输出基于心电数据的4种心理情感类别结果，即高兴情绪、平静情绪、消极情绪和抑郁情绪；

(7)、通过融合算法评估用户心理状态结果；

(7.1)、将基于Transformer模型的语音情感模型和基于CNN的心电情感模型给出的4种心理情感类别构建似然度P(X_i|λ_k)，其中，i＝1,2，k＝1,2,3,4；

(7.2)、分别计算语音情感模型和心电情感模型的融合权值；

(7.3)、通过加权融合方式计算最终的判别输出的四种情感概率，选出其中最大的概率F，得到用户心理状态；