[发明专利]一种卷积自编码器及基于该编码器的词嵌入向量压缩方法

权利要求书

1.一种基于卷积自编码器的词嵌入向量压缩方法，其特征在于，包括以下步骤：

步骤1，获取待处理文本的分词序列，并进行预处理；

步骤2，通过查询预设的词嵌入向量计算模型，在步骤1的分词序列中获取每个分词对应的映射词嵌入向量；词嵌入向量计算模型为一个以上的词嵌入向量计算模型的组合，对步骤1中得到有用的分词序列，与一个以上的词嵌入向量计算模型对应，得到多个映射词嵌入向量；

步骤3，对步骤2中每一个分词的映射词嵌入向量进行拼接处理，形成拼接嵌入向量；拼接处理是对同一个词的多个映射词嵌入向量用首尾相连的方式拼接得到单个拼接嵌入向量，拼接嵌入向量的维度为多个映射词嵌入向量的维度之和；对于每个分词来说，不同类别的映射词嵌入向量的拼接顺序要保持一致；

步骤4，将步骤3中的拼接嵌入向量输入卷积自编码器，以中间层特征图作为输出；

步骤5，对步骤4中输出的中间层特征图进行全局最大池化处理，得到最终压缩后的词嵌入向量。

2.根据权利要求1所述的基于卷积自编码器的词嵌入向量压缩方法，其特征在于，步骤1中的预处理为对分词序列中特殊符号和停止词进行过滤。

3.根据权利要求1所述的基于卷积自编码器的词嵌入向量压缩方法，其特征在于，步骤2中词嵌入向量计算模型包括word2vec、fastText、GloVe中的组合。

4.根据权利要求1所述的基于卷积自编码器的词嵌入向量压缩方法，其特征在于，步骤5中全局最大池化处理是指，将卷积自编码器输出的中间层特征图中的每一个特征图池化为单一输出，根据公式(1)进行最大池化处理：

其中j表示池化核的移动步，为l层第i个特征图中第t个单元的值，W表示池化核的宽度，对于全局最大池化，Q等于特征图的宽度，为池化处理的输出。

5.一种卷积自编码器，用于实现权利要求1至4中任意一项所述的基于卷积自编码器的词嵌入向量压缩方法，其特征在于，包括：

编码层，用于将输入卷积自编码器的拼接嵌入向量进行卷积编码，并输出为中间层特征图；

解码层，用于将编码层输出的中间层特征图反卷积重构，并输出重构后的重构拼接嵌入向量。

6.根据权利要求5所述的卷积自编码器，其特征在于，编码层对输入的拼接嵌入向量进行卷积，根据公式(2)进行卷积处理；

和分别表示l层第i个卷积核的权重和偏置，x^l(j)表示l层第j个卷积区域，*表示按元素相乘，为卷积处理的输出。

7.根据权利要求6所述的卷积自编码器，其特征在于，卷积自编码器对编码层输出的中间层特征图进行零填充，再对填充后的中间层特征图进行反卷积处理，反卷积处理的公式与卷积处理的公式相同。

8.根据权利要求5所述的卷积自编码器，其特征在于，对卷积自编码器进行无监督训练，无监督训练中训练模型的损失可以通过公式(3)来计算：

X和分别表示卷积自编码器的输入和重构输出，g和f分别表解码层和编码层函数，M表示为输入编码层的向量个数，L(θ)为卷积自编码器训练模型的损失值。