[发明专利]语料文本的处理方法、装置及电子设备

说明书

本发明提供了语料文本的处理方法、装置及电子设备。其中，该方法包括：将待处理的语料文本集合输入语言模型，得到语料文本的特征向量；基于聚类算法和语料文本的特征向量，对语料文本集合进行聚类处理，得到语料分类信息；修改目标语料文本标注的意图类别标注信息，得到目标语料文本；并将目标语料文本添加至原始训练样本中，以训练语言模型，得到优化的语言模型。本发明中，通过语言模型和聚类算法对语料文本集合进行聚类处理，并修正语料分类信息中目标语料信息标注的意图类别标注信息，以训练语言模型，使语言模型在使用过程中能够迭代优化，提升了语言模型和聚类算法的泛化能力，以及语料文本对应意图类别标注信息的标注准确度。

技术领域

本发明涉及自然语言处理技术领域，尤其是涉及一种语料文本的处理方法、装置及电子设备。

背景技术

随着计算机的飞速发展，数字化的文本数量在不断地增长，互联网的发展更加加剧了数字化文本的膨胀速度。在此背景下，聚类技术可以用于简化文本的表示，并对信息检索进行重新表示，以加速信息检索速度；或者实现一系列的个性化信息的整合和推送，比如目前流行的APP(Application，手机软件)今日头条、知乎等等。然而，大部分场景下聊天机器人仍然需要定制特定的问答对，也就是意图与回答的配对，这种模式在任务型对话中十分常见，比如订机票等。但是在开放域的回答中，识别高频意图也有很高的价值，因为对话的第一步就是听懂人类在说什么，文本聚类可以用于在海量的数据(比如游戏中玩家的私聊数据，数据量在千万轮以上)中寻找高频的意图，并对相似的表述进行聚类操作，比如找到“我去睡觉了”、“我现在真的要去睡了”等相似表述时，可以把他们归类为“玩家想去睡觉了”这个意图，以便后续可以定制特定的回答。

现有的语料文本主要通过聚类算法和度量学习进行意图类别标注信息的标注，其中，度量学习的模型为传统的序列模型，对语料文本的表示能力有限，导致意图类别标注信息的标注准确度较低。

发明内容

有鉴于此，本发明的目的在于提供语料文本的处理方法、装置及电子设备，以缓解上述问题。

第一方面，本发明实施例提供了一种语料文本的处理方法，该方法包括：将待处理的语料文本集合输入语言模型，得到语料文本集合中的语料文本的特征向量；其中，特征向量用于表征语料文本的语义信息；语言模型为经过原始训练样本训练得到的模型；基于聚类算法和语料文本的特征向量，对语料文本集合进行聚类处理，得到语料分类信息；其中，语料分类信息包括语料文本标注的意图类别标注信息；响应针对于目标语料文本的意图类别标注信息的修正操作，修改目标语料文本标注的意图类别标注信息，得到目标语料文本；将目标语料文本添加至原始训练样本中，得到更新样本；应用更新样本继续训练语言模型，得到优化的语言模型。

上述语料分类信息还包括语料文本对应的置信度，置信度用于表征语料文本对应的意图类别标注信息的可信程度；上述响应针对于目标语料文本的意图类别标注信息的修正操作的步骤之前，该方法还包括：将置信度低于预设阈值的语料文本作为目标语料文本。

上述语言模型为BERT语言模型，上述语料文本集合中的语料文本均标注有开始标识和结束标识。

上述聚类算法为多个；基于聚类算法和语料文本的特征向量，对语料文本集合进行聚类处理的步骤，包括：根据语料文本集合对应的任务类型确定目标聚类算法；其中，任务类型包括语料文本集合的类别总数已知或语料文本集合的类别总数未知；应用目标聚类算法和语料文本的特征向量，对语料文本集合进行聚类处理。

上述根据语料文本集合对应的任务类型确定目标聚类算法的步骤，包括：如果语料文本集合的类别总数已知，确定目标聚类算法为K-means算法；如果语料文本集合的类别总数未知，确定目标聚类算法为DBscan算法。