[发明专利]基于金融系统的数字员工智能系统

权利要求书

1.一种基于金融系统的数字员工智能系统，其特征在于，包括：

语音信号采集模块，用于获取客户的咨询语音信号；

降噪模块，用于将所述咨询语音信号通过基于自动编码器的信号降噪模块以得到降噪后咨询语音信号；

语音谱图提取模块，用于从所述降噪后咨询语音信号提取对数梅尔谱图、耳蜗谱图和恒定Q变换谱图；

多通道语义谱图构造模块，用于将所述对数梅尔谱图、所述耳蜗谱图和所述恒定Q变换谱图排列为多通道语音谱图；

双流编码模块，用于将所述多通道语音谱图通过双流网络模型以得到分类特征图；

自适应校正模块，用于基于所述分类特征图中的所有位置的特征值集合的统计特征，对所述分类特征图中各个位置的特征值进行校正以得到校正后分类特征图；以及

咨询意图识别模块，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示咨询语音信号的意图主题标签；

其中，所述双流编码模块，包括：

第一卷积编码单元，用于将所述多通道语音谱图输入所述双流网络模型的使用空间注意力机制的第一卷积神经网络以得到空间加强特征图；

第二卷积编码单元，用于将所述多通道语音谱图输入所述双流网络模型的使用通道注意力机制的第二卷积神经网络以得到通道加强特征图；以及

聚合单元，用于融合所述空间加强特征图和所述通道加强特征图以得到所述分类特征图；

其中，所述第一卷积编码单元，包括：

深度卷积编码子单元，用于将所述多通道语音谱图输入所述第一卷积神经网络的多层卷积层以得到第一卷积特征图；

空间注意力子单元，用于将所述第一卷积特征图输入所述第一卷积神经网络的空间注意力模块以得到空间注意力图；以及

注意力施加子单元，用于计算所述空间注意力图和所述第一卷积特征图的按位置点乘以得到所述空间加强特征图；

其中，所述空间注意力子单元，用于：

使用所述空间注意力模块的卷积层对所述第一卷积特征图进行卷积编码以得到空间感知特征图；

计算所述空间感知特征图与所述第一卷积特征图之间的按位置点乘以得到空间注意力得分图；以及

将所述空间注意力得分图输入Sigmoid激活函数以得到所述空间注意力图；

其中，所述第二卷积编码单元，包括：

深度卷积编码子单元，用于将所述多通道语音谱图输入所述第二卷积神经网络的多层卷积层以得到第二卷积特征图；

全局均值池化子单元，用于计算所述第二卷积特征图的沿通道维度的各个特征矩阵的全局均值以得到通道特征向量；

通道注意力权重计算子单元，用于将所述通道特征向量输入所述Sigmoid激活函数以得到通道注意力权重向量；以及

通道注意力施加子单元，用于以所述通道注意力权重向量中各个位置的特征值作为权重分别对所述第二卷积特征图的沿通道维度的各个特征矩阵进行加权以得到所述通道加强特征图；

其中，所述聚合单元，用于：

使用所述聚合单元以如下公式来融合所述空间加强特征图和所述通道加强特征图以获得所述分类特征图，其中，所述公式为：

Fs＝αF₁+βF₂

其中，F_s为所述分类特征图，F₁为所述空间加强特征图，F₂为所述通道加强特征图，“+”表示所述空间加强特征图和所述通道加强特征图相对应位置处的元素相加，α和β为用于控制所述分类特征图中所述空间加强特征图和所述通道加强特征图之间的平衡的加权参数。

2.根据权利要求1所述的基于金融系统的数字员工智能系统，其特征在于，所述降噪模块，包括：

语音信号编码单元，用于将所述咨询语音信号输入所述信号降噪模块的编码器，其中，所述编码器使用卷积层对所述咨询语音信号进行显式空间编码以得到语音特征；以及

语义特征解码单元，用于将所述语义特征输入所述信号降噪模块的解码器，其中，所述解码器使用反卷积层对所述语音特征进行反卷积处理以得到所述降噪后咨询语音信号。