[发明专利]一种文本处理方法、装置、电子设备及存储介质

说明书

本申请实施例提供了一种文本处理方法、装置、电子设备及存储介质，应用于人工智能技术领域，该方法包括：利用目标神经网络模型对目标文本集合中的各文本进行向量化表示，得到各文本的文本向量以用于从目标文本集合中确定出多个文本对；根据多个文本对获得训练后的语句相似判别模型；通过训练后的语句相似判别模型，校验待添加到目标语料库的第一文本不与目标语料库中的文本重复时，将第一文本添加至目标语料库中。采用本申请，可以避免将与语料库中的语言材料相重复的语言材料添加至语料库。本申请涉及区块链技术，如可将目标语料库中各文本的特征信息写入区块链中，以便在区块链中构建与所述目标语料库中各文本相关的业务规则。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种文本处理方法、装置、电子设备及存储介质。

背景技术

随着人工智能技术的迅猛发展，越来越多的公司开始开发自己的智能客服系统。其中用到的自然语言处理技术，在人工智能领域占有重要地位，可以通过机器理解人类的语言，实现人机交流，来帮助人类完成各项任务。

语料库作为存放语言材料的仓库，被广泛的应用到自然语言处理技术等技术中。例如，常见问题(Frequently Asked Questions，FAQ)模块便会用到FAQ语料库。常见问题(Frequently Asked Questions，FAQ)模块是智能客服系统中的常见模块，能够对用户经常提到的常见问题，通过事先组织好的问答对提供解答服务。所以FAQ语料库的质量就对返回答案的准确性及时效性产生重要影响。若FAQ语料库中的问题存在大量重复，则会使回答存在不统一和效率低的问题。例如：“什么是保险金额”“保险金额的含义”这两句表达的意思是一样的，不应该作为两个问题存在。然而，在实际应用过程中，为了使语料库能够适应更多的业务需求，会不断的往语料库添加新的语言材料，这其中就有大量与语料库中的语言材料相重复的语言材料被添加到语料库中，导致语料库出现较多重复的语言材料。因此，如何避免将与语料库中的语言材料相重复的语言材料添加至语料库成为亟待解决的问题。

发明内容

本申请实施例提供了一种文本处理方法、装置、电子设备及存储介质，可以避免将与语料库中的语言材料相重复的语言材料添加至语料库。

本申请实施例提供了一种文本处理方法，包括：

获取目标文本集合，并利用目标神经网络模型对所述目标文本集合中的各文本进行向量化表示，得到所述目标文本集合中的各文本的文本向量；

根据所述目标文本集合中的各文本的文本向量，从所述目标文本集合中确定出多个文本对，所述文本对包括至少两个相似的文本；

利用所述多个文本对训练初始的语句相似判别模型，得到训练后的语句相似判别模型；

在检测到待添加至目标语料库的第一文本时，通过所述训练后的语句相似判别模型，校验所述第一文本是否与目标语料库中的文本重复；

在所述第一文本不与所述目标语料库中的文本重复时，将所述第一文本添加至所述目标语料库中。

在一个实施例中，所述方法还包括：

在初始的神经网络模型的编码模块后添加分类层，得到包括所述编码模块和所述分类层的神经网络模型；

利用训练文本集合训练包括所述编码模块和所述分类层的神经网络模型，得到训练后的神经网络模型；

删除所述训练后的神经网络模型包括的分类层，并将删除了分类层的训练后的神经网络模型确定为目标神经网络模型。

在一个实施例中，所述方法还包括：

对所述多个文本对标注指示该文本对中各文本间是否相似的标签；

所述利用所述多个文本对训练初始的语句相似判别模型，得到训练后的语句相似判别模型，包括：