[发明专利]文本匹配方法及装置

权利要求书

1.一种文本匹配方法，其特征在于，包括：

对于文本集合中的任意一个文本，根据所述文本中的各词汇在所述文本中的词频以及所述文本中的各词汇在文本集合中的逆文本频率，获得所述文本的语法表示；将所述文本输入至预先训练的深度双向转换编码器中，输出所述文本的语义表示；将所述文本的语法表示和语义表示组合为所述文本的文本特征；

从所述文本集合中选择待匹配文本，计算所述待匹配文本的文本特征与所述文本集合中其他文本的文本特征间的欧氏距离，将欧氏距离最近的k个其他文本作为与所述待匹配文本类似的文本；其中，k为正整数；

所述根据所述文本中的各词汇在所述文本中的词频以及所述文本中的各词汇在文本集合中的逆文本频率，获得所述文本的语法表示，具体为：

对于文本中的任意词汇，将所述词汇在所述文本中的词频与所述词汇在文本集合中的逆文本频率的乘积，作为所述词汇在所述文本中的特征表示，将文本中所有词汇的特征表示进行组合，获得所述文本的语法表示。

2.根据权利要求1所述的文本匹配方法，其特征在于，所述计算所述待匹配文本的文本特征与所述文本集合中其他文本的文本特征间的欧氏距离，具体为：

预先确定r个哈希函数，将文本集合中各文本的文本特征代入每个哈希函数中，获得每个文本的r个哈希值；

搜索与所述待匹配文本的每个哈希值处于同一哈希槽的其他文本作为候选文本；

计算所述待匹配文本的文本特征与所述候选文本的文本特征间的欧氏距离；其中，r为正整数。

3.根据权利要求1所述的文本匹配方法，其特征在于，所述将所述文本的语法表示和语义表示组合为所述文本的文本特征，之前还包括：

通过主成分分析法对所述文本的语法表示进行降维处理。

4.根据权利要求1所述的文本匹配方法，其特征在于，所述将所述文本输入至预先训练的深度双向转换编码器中，输出所述文本的语义表示，具体为：

将文本中的每个词汇输入至所述深度双向转换编码器的编码层，输出对应每个词汇的词向量；

将文本中的每个词向量输入至L层预先训练的双向转换编码器，将最后一次双向转换编码器的输出量作为文本的语义表示；

其中，在每一层双向转换编码器中，将输入量先使用多头的注意力机制进行编码，将编码后的结果输入残差网络，获得当前层的双向转换编码器的输出量；其中，L为正整数。

5.根据权利要求1或4所述的文本匹配方法，其特征在于，所述深度双向转换编码器的训练方法为：

从样本文本中选定两句话，并设置所述两句话是否为连续上下文的第一标签，将所述两句话以及第一标签输入至深度双向转换编码器进行训练，直至所述深度双向转换编码器输出的两句话是否为连续上下文的判断结果符合预设要求；

将样本文本中的部分词隐去或者随机变换为其他已出现的词，将修改后的样本文本以及修改便签输入至深度双向转换编码器进行训练，直至所述深度双向转换编码器输出的样本文本的纠错结果符合预设要求。

6.一种文本匹配装置，其特征在于，包括：

文本特征提取模块，用于对于文本集合中的任意一个文本，根据所述文本中的各词汇在所述文本中的词频以及所述文本中的各词汇在文本集合中的逆文本频率，获得所述文本的语法表示；将所述文本输入至预先训练的深度双向转换编码器中，输出所述文本的语义表示；将所述文本的语法表示和语义表示组合为所述文本的文本特征；

匹配模块，用于从所述文本集合中选择待匹配文本，计算所述待匹配文本的文本特征与所述文本集合中其他文本的文本特征间的欧氏距离，将欧氏距离最近的k个其他文本作为与所述待匹配文本类似的文本；其中，k为正整数；

所述根据所述文本中的各词汇在所述文本中的词频以及所述文本中的各词汇在文本集合中的逆文本频率，获得所述文本的语法表示，具体为：

对于文本中的任意词汇，将所述词汇在所述文本中的词频与所述词汇在文本集合中的逆文本频率的乘积，作为所述词汇在所述文本中的特征表示，将文本中所有词汇的特征表示进行组合，获得所述文本的语法表示。