[发明专利]一种多模态情感分析的方法、装置、设备及介质

权利要求书

1.一种多模态情感分析的方法，其特征在于，所述方法包括：

提取待分析文本所对应的文本特征向量，其中，所述待分析文本是对待分析语音进行转换获得的；

将所述文本特征向量与所述待分析语音的语音特征向量进行融合，获得融合向量；

将所述融合向量输入到多模态情感分析模型中，通过所述多模态情感分析模型对所述融合向量进行情感分析预测，获得所述待分析语音的至少一种情感标签相应的概率。

2.根据权利要求1所述的方法，其特征在于，所述将所述文本特征向量与所述待分析语音的语音特征向量进行融合，获得融合向量，包括：

将所述文本特征向量与所述语音特征向量进行向量拼接，获得融合向量，其中，向量拼接的方式至少包括将所述文本特征向量和所述语音特征向量进行相加。

3.根据权利要求1-2任一项所述的方法，其特征在于，在所述将所述文本特征向量与所述待分析语音的语音特征向量进行融合，获得融合向量之前，所述方法还包括：

将所述待分析语音输入到语音提取模型中，通过所述语音提取模型对所述待分析语音进行卷积操作和池化操作，获得所述语音特征向量。

4.根据权利要求1-2任一项所述的方法，其特征在于，在所述获得所述待分析语音的至少一种情感标签相应的概率之后，所述方法还包括：

获取与所述待分析语音相对应的脑电转换文件，其中，所述脑电转换文件是在生成所述待分析语音的过程中采集的相关人员的脑电波数据；

基于所述脑电转换文件对所述至少一种情感标签相应的概率进行校核，获得所述至少一种情感标签相应的目标概率；

通过所述目标概率确认所述待分析语音的目标情感标签。

5.根据权利要求1-2任一项所述的方法，其特征在于，在所述获得所述待分析语音的至少一种情感标签相应的概率之后，所述方法还包括：

获取与所述待分析语音相对应的眼动转换文件，其中，所述眼动转换文件为在生成所述待分析语音的过程中采集的相关人员的眼球运动数据；

基于所述眼动转换文件对所述至少一种情感标签相应的概率进行校核，获得所述至少一种情感标签相应的目标概率；

通过所述目标概率确认所述待分析语音的目标情感标签。

6.一种多模态情感分析的装置，其特征在于，所述装置包括：

向量提取模块，被配置为提取待分析文本所对应的文本特征向量，其中，所述待分析文本是对待分析语音进行转换获得的；

向量融合模块，被配置为将所述文本特征向量与所述待分析语音的语音特征向量进行融合，获得融合向量；

情感分析模块，被配置为将所述融合向量输入到多模态情感分析模型中，通过所述多模态情感分析模型对所述融合向量进行情感分析预测，获得所述待分析语音的至少一种情感标签相应的概率。

7.根据权利要求6所述的装置，其特征在于，所述向量融合模块还被配置为：

将所述文本特征向量与所述语音特征向量进行向量拼接，获得融合向量，其中，向量拼接的方式至少包括将所述文本特征向量和所述语音特征向量进行相加。

8.根据权利要求6-7任一项所述的装置，其特征在于，所述向量提取模块还被配置为：

将所述待分析语音输入到语音提取模型中，通过所述语音提取模型对所述待分析语音进行卷积操作和池化操作，获得所述语音特征向量。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线；

所述处理器通过所述总线与所述存储器相连，所述存储器存储有计算机程序，所述计算机程序由所述处理器执行时可实现如权利要求1-5任一项所述方法。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被执行时可实现如权利要求1-5任一项所述方法。