[发明专利]一种子词单元的拆分方法、装置及计算机可读存储介质

说明书

本发明实施例提供了一种子词单元的拆分方法、装置及计算机可读存储介质。本发明实施例提供的子词单元的拆分方法，可以在分词后的输入语句的基础上，利用卷积神经网络的不同长度的卷积滤波器，获得输入语句的特征映射，进而在所获得的多个特征映射间进行特征映射片段的组合，以获得输入语句对应的映射片段组合，然后根据特征的明显程度，从这些映射片段组合中进行最优分词的选择，从而可以提高获得最优分词结果的可能性，进而提升神经机器翻译的性能。

技术领域

本发明涉及自然语言处理(NLP，Natural Language Processing)中的神经机器翻译技术领域，具体涉及一种子词单元的拆分方法、装置、神经机器翻译装置及计算机可读存储介质。

背景技术

分词技术作为神经机器翻译(NMT，Neural Machine Translation)的一个重要数据处理技术，可以解决超出词典词(OOV，Out of Vocabulary)和低频词(Rare word)不能准确翻译的问题。其中，超出词典词是指不在词典中的词，低频词是指某些词典中的词在训练集中出现次数过少的词，通常无法训练得到很好的词向量。

现有的分词技术包括基于词典和语法规则的分词方法和基于统计的分词方法。其中，基于词典和语法规则的分词方法，应用词典匹配和语法知识进行分词，其原理是将文档中的字符串与词典中的词条进行逐一匹配，如果词典中找到某个字符串，则匹配成功，可以切分，否则不予切分，具体包括如逐词遍历法、最大匹配法、最小子词单元的拆分方法等。基于统计的分词方法，如基于词频统计的分词方法，通过采用词频统计的方法，根据字符在文档中出现的统计频率决定其是否构成词。

发明人发现，在应用于神经机器翻译时，以上分词方法的分词结果与最优分词结果的差异较大。因此亟需一种子词单元的拆分方法，对现有的分词结果进一步处理，以提高获得最优分词结果的可能性。

发明内容

本发明实施例要解决的技术问题是提供一种子词单元的拆分方法、装置、神经机器翻译装置及计算机可读存储介质，能够提高获得最优分词结果的可能性。

本发明实施例提供了一种子词单元的拆分方法，应用于神经机器翻译，包括：

生成分词处理后的输入语句的词表示矩阵；

通过卷积神经网络的至少一个卷积滤波器，对所述词表示矩阵进行卷积处理，获得所述输入语句的至少一个特征映射；

对所述至少一个特征映射中的特征映射片段进行组合，得到所述输入语句对应的至少一个映射片段组合；

从所述至少一个映射片段组合中选择出特征最明显的目标组合，得到所述输入语句的子词单元的拆分结果。

优选的，所述生成分词处理后的输入语句的词表示矩阵的步骤，包括：

获得分词处理后的输入语句，所述输入语句包括词以及相邻词之间的空格或标点符号；

将分词处理后的输入语句分割成字符级别的字符表示，通过词到向量word2vec模型或随机初始化模型，训练得到所述字符表示的词表示矩阵，所述词表示矩阵为词嵌入矩阵，且所述词表示矩阵的长度等于所述输入语句中的字符与空格的数量。

优选的，所述至少一个卷积滤波器的长度的取值范围从2到所述输入语句中的最大词长度，所述卷积滤波器的宽度均与所述词嵌入矩阵的宽度相同，且所述卷积滤波器的滑动步长均为1。

优选的，所述对所述至少一个特征映射中的特征映射片段进行组合，得到所述输入语句对应的至少一个映射片段组合的步骤，包括：

通过遍历算法，对所述至少一个特征映射中的特征映射片段进行组合，得到所述输入语句对应的所有映射片段组合。

优选的，所述从所述至少一个映射片段组合中选择出特征最明显的目标组合的步骤，包括：