[发明专利]一种基于语义识别的电话打断识别方法和系统

权利要求书

1.一种基于语义识别的电话打断识别方法，其特征在于，所述方法包括：

智能通话机器人与用户建立通话并发送系统语音，通过VAD探测技术采集通话过程中所述用户的打断语音；

通过ASR技术识别所述打断语音并将所述打断语音转换为文本信息；

基于所述打断语音和所述文本信息，通过预设深度模型进行语音特征抽取和文本特征抽取，并根据所述语音特征和所述文本特征，结合所述系统语音进行语义预测；

在所述语义预测的结果指示所述打断语音是真实语义打断的情况下，停止当前的所述系统语音并记录所述系统语音的状态位置；

通过自然语言理解技术对所述打断语音进行识别解析，生成与所述打断语音对应的响应话术并发送至用户终端；

所述智能通话机器人与用户建立通话并发送系统语音之前，所述方法还包括：

获取训练数据集，其中，所述训练数据集包括通话场景下的历史音频信息和由所述历史音频信息转换生成的历史文本信息，所述历史音频信息中包括历史系统语音和所述用户的历史打断语音；

按照所述历史音频信息的时序，对所述历史文本信息进行序列化转换，并根据预设规则对所述历史文本信息中的第一打断信息进行标注，以及根据开发人员的第一交互信号对所述历史文本信息中的第二打断信息进行标注；

对标注之后的所述历史音频信息进行音频特征抽取得到音频特征，对标注之后的所述历史文本信息进行文本特征抽取得到文本特征，基于所述训练数据集、所述音频特征和所述文本特征，采用CNN-LSTM模型架构构建并训练所述预设深度模型。

2.根据权利要求1所述的方法，其特征在于，所述根据预设规则对所述历史文本信息中的第一打断信息进行标注包括：

根据所述预设规则，对于在所述历史文本信息中总字数和不重复字数大于预设参考阈值的文本信息，将所述文本信息作为所述第一打断信息进行标注。

3.根据权利要求1所述的方法，其特征在于，所述对标注之后的所述历史音频信息进行音频特征抽取得到音频特征包括：

对标注之后的所述历史音频信息进行预设维度的MFCC特征抽取获得第一音频特征，对所述第一音频特征进行预加重处理以增强所述第一音频特征中高频信号的能量；

基于预加重处理之后的所述第一音频特征，按照预设帧长抽取多个第二音频特征，通过加窗处理将所述第二音频特征中的非周期性特征为周期性特征；

通过离散傅里叶变换将多个所述第二音频特征转换为第三音频特征，其中，所述第二音频特征是时域信号，所述第三音频特征是频域信号；

通过梅尔滤波器组和对数表示将所述第三音频特征的频率转换为mel标度之后，进行逆向傅里叶变换之后得到所述第三音频特征的倒谱特征；

对所述倒谱特征中添加与时间变化联系的delta特征并进行倒谱分析获取所述音频特征。

4.根据权利要求1所述的方法，其特征在于，所述对标注之后的所述历史文本信息进行文本特征抽取得到文本特征包括：

接收开发人员的第二交互信号，根据所述第二交互信号对所述历史文本信息进行分词标注和词性标注；

根据所述分词标注和所述词性标注，通过分词工具对所述历史文本信息进行分词处理和词性识别之后得到初始文本特征；

将所述初始文本特征转换为拼音特征，并获取所述文本特征中每个字对应的声调，将所述拼音特征和所述声调整合为所述文本特征特征。

5.根据权利要求1所述的方法，其特征在于，所述基于所述音频特征和所述文本特征，采用CNN-LSTM模型架构构建并训练所述预设深度模型包括：

根据CNN-LSTM模型架构，构建所述预设深度模型的基础结构；

基于所述音频特征和所述文本特征对所述预设深度模型进行训练包括：通过CNN模型，对所述训练数据集中的所述音频特征和文本特征进行多核卷积处理得到卷积特征，通过LSTM模型获取所述卷积特征在时间序列上的语义特征，将所述音频特征对应的语义特征和所述文本特征对应的语义特征拼接作为最终语义表征并输出对应的判定结果。