[发明专利]NLP中基于K-best算法和N-gram模型的BERT模型强化方法

说明书

一种NLP中基于K‑best算法和N‑gram模型的BERT模型强化方法，步骤包括：获取语料库进行预处理，对每个训练样本进行文本切分；按照单字、双字、三字输入拼接形成三元语法输入；使用分词工具，基于K‑best维特比算法获取k个分词序列，进行mask微调；将微调后的N‑gram输入到模型中，进行文本相似度匹配。本发明针对待匹配相似度的数据集，通过数据清洗预处理，能够有效的去除标题等，有效提升了数据的有效程度；采用三元语法输入代替字符输入，能够有效的提升语句评估的合理性；采用pkuseg分词工具，极大地提升了分词的准确率；并在分词中采用K‑best维特比算法，能够在提升分词有效率的基础上，加强模型对正确分词的理解能力。

技术领域

本发明涉及自然语言处理领域，具体涉及一种自然语言处理中基于K-best和N-gram的BERT模型强化方法。

背景技术

随着自然语言处理NLP领域的不断发展，人们从传统的机器学习方法不断地在向深度学习方法探索。

近期谷歌提出的BERT(Bidirectional Encoder Representation fromTransformers)预训练模型更是在自然语言处理领域的11个任务上大幅刷新了准确率的精度，成为了自然语言处理领域里程碑式的模型。

BERT模型的预训练通常将文本作为与小文本单元相对应的标记序列来处理，例如英文单词和中文字符。但是，它忽略了较大的文本粒度所携带的信息，因此编码器无法轻松适应某些字符组合。这会导致重要语义信息的丢失，这对于中文尤其成问题，因为中文没有明确的单词边界。

有内学者提出了一种多粒度BERT模型(On Sample Based Explanation Methodsfor NLP:Efficiency,Faithfulness,and Semantic Evaluation)，以无监督的方式学习有效的多字符语言单元的表示形式，并且还通过对N-gram模型(N元模型)进行预训练作为对自我注意矩阵的隐式正则化，显示出了强大的可解释能力。尽管有效，但是这种多粒度BERT模型存在两个问题：1)它依赖于N-gram模型的枚举，这对于数量较大的枚举数量，可能消耗资源较多；2)它没有利用知识一词。

所以，BERT模型对单词的学习和理解能力还有不足，需要对BERT模型进行强化。

发明内容

针对现有技术所存在的上述缺点，本发明提供了一种NLP中基于K-best算法和N-gram模型的BERT模型强化方法。

本方法针对待匹配相似度的数据集：通过数据清洗预处理，去除标题、无关符号、空白行等，提升了数据的有效程度；采用三元语法输入代替字符输入，提升语句评估的合理性；采用pkuseg分词工具，提升了分词的准确率；同时，在分词中采用K-bset维特比算法，在提升分词有效率的基础上，使BERT模型对于有意义的分词结果赋予更多的注意力，从而加强模型对正确分词的理解能力，具有广泛的应用前景。

为实现本发明的目的，本发明提供了如下技术方案：

一种NLP中基于K-best算法和N-gram模型的BERT模型强化方法，其特征是包括以下步骤：

步骤1)获取语料库中的文本用于训练BERT模型，对文本行预处理，得到新文本；

步骤2)把步骤1)得到的新文本按照单字、双字、三字输入拼接得到三元语法输入；

步骤3)用分词工具，基于K-best维特比算法获取k个分词序列，进行mask掩码微调；最终得到微调后的N-gram；

步骤4)将微调后的N-gram输入BERT模型中，进行文本相似度匹配；

所述步骤1)的步骤包括：

步骤101)对语料进行清洗；