[发明专利]NLP中基于K-best算法和N-gram模型的BERT模型强化方法

权利要求书

1.一种NLP中基于K-best算法和N-gram模型的BERT模型强化方法，其特征是包括以下步骤：

步骤1)获取语料库中的文本用于训练BERT模型，对文本行预处理，得到新文本；

步骤2)把步骤1)得到的新文本按照单字、双字、三字输入拼接得到三元语法输入；

步骤3)用分词工具，基于K-best维特比算法获取k个分词序列，进行mask掩码微调；最终得到微调后的N-gram；

步骤4)将微调后的N-gram输入BERT模型中，进行文本相似度匹配；

所述步骤1)的步骤包括：

步骤101)对语料进行清洗；

步骤102)把语料的原始文本段落拆分，再分别将相邻两个句子拼接成一个句子组，最终得到新文本；同一句子组中，在第一个句子之前添加开始标识符“[CLS]”；分别在每个句子之后添加结束符“[SEP]”；

步骤103)将新文本切分成一个字符串input1；

所述步骤2)中，创建三元语法输入，步骤包括：

步骤201)对原字符串中的字符都左移一个单元，删除开始标识符[CLS]，且末尾添加0，得到新的字符串，记为方法一；

按照方法一，对步骤103)所得字符串input1处理，得到字符串input2；定义字符串input1为uni-gram；

步骤202)将字符串input1和字符串input2相应位置字符进行拼接，第二个新字符串bi-gram；相应位置是指两个字符串中顺序相同的字符；

步骤203)对字符串input2按照方法一进行处理，得到字符串input3；

将字符串input1、input2和input3中的相应位置字符进行拼接，得到第三个新字符串tri-gram；相应位置是指三个字符串中顺序相同的字符；

步骤204)将字符串uni-gram、bi-gram和tri-gram从前到后，依次拼接得到三元语法输入；

所述步骤3)中，通过分词工具和K-best维特比算法进行微调，步骤包括：

步骤301)使用pkuseg分词工具，采用k最佳顺序解码即K-best维特比算法来扩展pkuseg：前向传递计算并存储维特比前向分数，这是从开始到当前节点的最佳分数；

步骤302)对步骤102)中生成的句子组，使用扩展的pkuseg分词工具进行分词，一旦具有最佳k个节点，传递结束，即得到k个最佳分词序列，在该最佳分词序列中的词即为有效词；

步骤303)按照步骤302)得到的最佳分词序列，对步骤204)中的三元语法输入中的单词进行比较，用不同向量分别作为有效词和无效词的掩码；

将无效的三元语法输入嵌入归零，同时保留有效的三元语法输入；

步骤304)将各个单词进行编码，得到各个单词对应的向量，将各个单词对应的向量乘以对应的掩码，最终得到微调后的N-gram。

2.根据权利要求1所述的NLP中基于K-best算法和N-gram模型的BERT模型强化方法，其特征是所述步骤1)中：

步骤101)对语料进行清洗，去除标题、无关符号、空白行；

步骤102)句子组中，任一句子超过设定字符阈值就截断该句，不足的进行补零操作。

3.根据权利要求1所述的NLP中基于K-best算法和N-gram模型的BERT模型强化方法，其特征是步骤102)中，任一句子超过128字符阈值就截断该句。

4.根据权利要求1所述的NLP中基于K-best算法和N-gram模型的BERT模型强化方法，其特征是所述步骤303)中，有效词用向量作为掩码，无效词用作为掩码。

5.根据权利要求1所述的NLP中基于K-best算法和N-gram模型的BERT模型强化方法，其特征是步骤301)中，k取3。

6.根据权利要求1所述的NLP中基于K-best算法和N-gram模型的BERT模型强化方法，其特征是所述步骤304)中，将各个单词进行Word2Vec编码得到各个单词对应的向量。