[发明专利]一种多模态情感分析的方法、装置、设备及介质

说明书

本申请实施例提供一种多模态情感分析的方法、装置、设备及介质，该方法包括：提取待分析文本所对应的文本特征向量，其中，所述待分析文本是对待分析语音进行转换获得的；将所述文本特征向量与所述待分析语音的语音特征向量进行融合，获得融合向量；将所述融合向量输入到多模态情感分析模型中，通过所述多模态情感分析模型对所述融合向量进行情感分析预测，获得所述待分析语音的至少一种情感标签相应的概率。通过本申请的一些实施例能够将文本特征向量和语音特征向量进行融合，获得准确的情感标签，从而能够对用户进行针对性的服务。

技术领域

本申请实施例涉及用户情感分析领域，具体涉及一种多模态情感分析的方法、装置、设备及介质。

背景技术

相关技术中，在电销外呼的场景，用户情感分析一般是语音转文本后，再进行文本情感识别，导致丢失一些用户语音信息，同时上游的语音转文本也会出现识别的错误，因此会对情感识别的准确率造成一定的负面影响。

因此，如何提高用户情感分析的准确性成为需要解决的问题。

发明内容

本申请实施例提供一种多模态情感分析的方法、装置、设备及介质，通过本申请的一些实施例至少能够将文本特征向量和语音特征向量进行融合，获得准确的情感标签，从而能够对用户进行针对性的服务。

第一方面，本申请提供了一种多模态情感分析的方法，所述方法包括：提取待分析文本所对应的文本特征向量，其中，所述待分析文本是对待分析语音进行转换获得的；将所述文本特征向量与所述待分析语音的语音特征向量进行融合，获得融合向量；将所述融合向量输入到多模态情感分析模型中，通过所述多模态情感分析模型对所述融合向量进行情感分析预测，获得所述待分析语音的至少一种情感标签相应的概率。

因此，与相关技术中直接使用待分析文本进行用户情感分析的方法不同的是，本申请通过将文本特征向量与待分析语音的语音特征向量进行融合，获得融合向量，再使用融合向量进行情感分析预测，能够获得准确的情感标签，从而能够对用户进行针对性的服务。

结合第一方面，在本申请的一种实施方式中，所述将所述文本特征向量与所述待分析语音的语音特征向量进行融合，获得融合向量，包括：将所述文本特征向量与所述语音特征向量进行向量拼接，获得融合向量，其中，向量拼接的方式至少包括将所述文本特征向量和所述语音特征向量进行相加。

因此，本申请实施例通过将文本特征向量与语音特征向量进行拼接，能够在情感分析的过程中既使用表征文字的特征，还使用表征语气的特征，从而获得准确的情感标签。

结合第一方面，在本申请的一种实施方式中，在所述将所述文本特征向量与所述待分析语音的语音特征向量进行融合，获得融合向量之前，所述方法还包括：将所述待分析语音输入到语音提取模型中，通过所述语音提取模型对所述待分析语音进行卷积操作和池化操作，获得所述语音特征向量。

因此，本申请实施例通过将待分析语音进行卷积操作和池化操作，能够获得表征准确的语音特征向量。

结合第一方面，在本申请的一种实施方式中，在所述获得所述待分析语音的至少一种情感标签相应的概率之后，所述方法还包括：获取与所述待分析语音相对应的脑电转换文件，其中，所述脑电转换文件是在生成所述待分析语音的过程中采集的相关人员的脑电波数据；基于所述脑电转换文件对所述至少一种情感标签相应的概率进行校核，获得所述至少一种情感标签相应的目标概率；通过所述目标概率确认所述待分析语音的目标情感标签。

因此，本申请实施例通过脑电波数据对情感标签进行校核，能够获得更加准确的情感标签。