[发明专利]基于多头注意力机制的特征提取方法及语音命令识别方法

说明书

本申请揭示了一种基于多头注意力机制的特征提取方法及语音命令识别方法、装置、存储介质以及计算机设备，其中基于多头注意力机制的特征提取方法包括：获取第一特征矩阵；将第一特征矩阵输入预设的全连接层进行计算得到第二特征矩阵，第二特征矩阵的列数为N；将第二特征矩阵输入预设的多头注意力机制网络进行计算，得到第三特征矩阵，多头注意力机制网络包括M层多头注意力机制层，每层所述多头注意力机制层的注意力头数量为K，其中，每层的K分别为N的不同约数，且M为N所有约数的个数，这样只需一层全连接层以及多层不同的多头注意力机制层即可有效的实现特性提取，减少了由于多个全连接层所带来的巨大参数量，大大地降低计算量。

技术领域

本申请涉及特征提取技术领域，具体涉及一种基于多头注意力机制的特征提取方法、装置、存储介质、计算机设备及语音命令识别方法。

背景技术

在语音唤醒、语音识别等场景中，其使用的模型通常采用Encoder-Decoder的架构，在Encoder和Decoder的内部网络实现上，当前一种比较新的方法是采用“多头注意力机制”结合“全连接层”的形式来实现特征提取，这种方式虽然效果上比较好，但是由于单个多头注意力机制存在注意力视野受限的问题，学习能力有限，需要全连接层配合来提升学习能力，故每一个多头注意力(Multi_head attention)的运算前后都要有全连接层的参与，通常，整个网络的全连接层数是多头注意力机制层数的三倍，而全连接层的参数量和计算量都相对比较大，导致了整个网络对计算资源的消耗比较大。

发明内容

本申请的主要目的为提供一种基于多头注意力机制的特征提取方法、装置、存储介质、计算机设备及语音命令识别方法，旨在解决现有技术中特征提取计算量过大的技术问题。

基于上述发明目的，本申请实施例提出一种基于多头注意力机制的特征提取方法，包括：

获取第一特征矩阵；

将所述第一特征矩阵输入预设的全连接层进行计算得到第二特征矩阵，所述第二特征矩阵的列数为N，N为正整数；

将所述第二特征矩阵输入预设的多头注意力机制网络进行计算，得到特征提取后的第三特征矩阵，所述多头注意力机制网络包括M层多头注意力机制层，每层所述多头注意力机制层的注意力头数量为K，其中，每层的K分别为N的不同约数，且M为N所有约数的个数，K、M均为正整数。

进一步地，所述多头注意力机制网络包括横向网络，所述横向网络中的多头注意力机制层相互独立，所述将所述第二特征矩阵输入预设的多头注意力机制网络进行计算，得到特征提取后的第三特征矩阵的步骤，包括：

将所述第二特征矩阵输入所述横向网络进行计算，得到M个第一矩阵，每个所述第一矩阵对应一层所述多头注意力机制层，且所述第一矩阵的列数为N/K；

将各所述第一矩阵进行加权求和，得到所述第三特征矩阵。

进一步地，所述多头注意力机制网络包括横向网络，所述横向网络中的各多头注意力层相互独立，所述将所述第二特征矩阵输入预设的多头注意力机制网络进行计算，得到特征提取后的第三特征矩阵的步骤，包括：

将所述第二特征矩阵输入所述横向网络进行计算，得到M个第二矩阵，每个所述第二矩阵对应一层所述多头注意力机制层，且所述第二矩阵的列数为N/K；

将各所述第二矩阵进行拼接，得到所述第三特征矩阵。

进一步地，所述多头注意力机制网络包括纵向网络，所述纵向网络中的多头注意力机制层依次首尾连接，所述将所述第二特征矩阵输入预设的多头注意力机制网络进行计算，得到特征提取后的第三特征矩阵的步骤，包括：

将所述第二特征矩阵输入第一层多头注意力机制层进行计算，得到第一结果；