[发明专利]一种多模态的投诉识别方法、装置和系统

权利要求书

1.一种多模态的投诉识别方法，用于识别用户通话内容是否包含投诉内容，其特征在于，该投诉识别方法包括：

接收所述用户通话中的用户语音，利用算法标注结果去除用户语音中音频数据的非语音段、并且通过对音频数据的重采样将所述用户语音转化为声波波形；

将所述声波波形转化为图像序列数据并向量化，同时，识别所述声波波形的文本内容数据并向量化；其中，将所述声波波形转化为图像序列数据包括：通过语音能量值在时间维度的图形展示能量高低的图形模式而将所述声波波形转换为时域上的波形图；通过使用重叠式滑动窗口对声波波形图进行重叠式切割而获得连续采样的波形采样图像；将所述声波波形转换为机器学习模型能够识别的格式并表示成向量；

将所述图像序列数据的向量和所述文本内容数据的向量输入到投诉概率判断模型进行计算，包括：将所述图像序列数据的向量输入到语音情绪判断模型，输出对应的情绪判定值构成的情绪判定值序列，对所述情绪判定值序列求方差获得语音情绪波动值；将所述文本内容数据的向量输入文本情绪判断模型，输出对应文本情绪波动值；根据设置的语音情绪波动值的权重和文本情绪波动值的权重计算全局情绪波动值；

根据所述全局情绪波动值判断所述用户通话是否包含投诉内容，包括：判断计算的所述全局情绪波动值是否超过预先设置的全局情绪波动值阈值，超过则表示有较大投诉概率。

2.如权利要求1所述的方法，其特征在于，将所述图像序列数据的向量和所述文本内容数据的向量输入到投诉概率判断模型进行计算包括：

所述投诉概率判断为机器自学习模型，所述机器自学习模型通过历史用户通话记录进行训练。

3.如权利要求1所述的方法，其特征在于，将所述图像序列数据的向量输入到语音情绪判断模型，输出对应的情绪判定值构成的情绪判定值序列，包括：

所述语音情绪判断模型的输出层的节点数量与输入层的节点数量相同，将所述图像序列数据的向量输入到所述语音情绪判断模型的输入层能输出与图像序列数据中每一个采样样本对应的情绪判定值，输出的情绪判定值构成了所述情绪判定值序列。

4.如权利要求1至3中任一项所述的方法，其特征在于，将所述用户语音输入转化为声波波形具体为：使用VAD算法对语音输入进行检测，获得声波波形。

5.如权利要求1至3中任一项所述的方法，其特征在于，通过使用重叠式滑动窗口对声波波形图进行重叠式切割而获得连续采样的波形采样图像还包括：

设置滑动窗口长度为采样周期，设置滑动窗口重叠长度，再使用重叠式的所述滑动窗口对所述声波波形进行重叠切割，得到一系列的波形采样。

6.如权利要求1至3中任一项所述的方法，其特征在于，所述语音情绪判断模型为RNN循环神经网络模型。

7.如权利要求1至3中任一项所述的方法，其特征在于，所述文本情绪判断模型为CNN卷积神经网络模型。