[发明专利]语料清洗方法、装置、设备及介质

说明书

本发明提供了一种语料清洗方法、装置、设备及介质，包括：获取句向量提取模型结构，句向量提取模型结构取自于预先训练出的用于评估问句与答句的匹配情况的问答对模型的一部分，并用于提取输入的问句或答句的句向量；从作为待清洗问答对的全部语料之中提取至少一部分语料；获取至少一部分语料的标注结果；基于至少一部分语料及其标注结果构成的训练集来训练分类模型，分类模型基于由句向量提取模型结构从输入语料的问答对之中的问句和答句分别提取的句向量，来评估语料是否适于作为问答对使用；以及利用训练出的分类模型，从全部语料之中的未标记语料筛选出适于作为问答对使用的语料。由此，通过少量的人工标注，就可以得到大量、质量较高的语料。

技术领域

本发明总体说来涉及数据科学技术领域，更具体地讲，涉及一种语料清洗方法、装置、设备及介质。

背景技术

在人工智能交互领域，通过对话实现的交互方式依然占据着重要的位置。基于对话的人工智能交互技术的实现依赖于高质量问答对的构建。如何从大量语料中筛选出适合作为问答对存在的语料，以实现语料清洗，则是构建高质量问答对的关键。

现有的语料清洗方案主要分为两种。一种是通过大量的人工进行筛选，得到目标语料，另一种是先经过人工标注得到较大规模的语料，然后用标注的语料进行模型训练，以使用训练好的模型进行清洗。无论哪种方式都需要消耗大量的人工进行标注，人工成本较高。

发明内容

本发明的示例性实施例在于提供一种语料清洗方法及装置，以解决现有技术存在的上述问题。

根据本发明的第一个方面，提出了一种语料清洗方法，包括：获取句向量提取模型结构，其中，句向量提取模型结构取自于预先训练出的用于评估问句与答句的匹配情况的问答对模型的一部分，并用于提取输入的问句或答句的句向量；从作为待清洗问答对的全部语料之中提取至少一部分语料；获取至少一部分语料的标注结果，其中，标注结果指示语料是否适于作为问答对使用；基于至少一部分语料及其标注结果构成的训练集来训练分类模型，其中，分类模型基于由句向量提取模型结构从输入语料的问答对之中的问句和答句分别提取的句向量，来评估语料是否适于作为问答对使用；以及利用训练出的分类模型，从全部语料之中的未标记语料筛选出适于作为问答对使用的语料。

可选地，句向量提取模型结构包括嵌入层和关联层，嵌入层用于获取输入的问句或答句中各个单词的词向量，关联层用于基于各个单词的词向量得到进一步携带词序信息的句向量。

可选地，关联层为长短期记忆神经网络层、循环神经网络层和/或卷积神经网络层。

可选地，获取句向量提取模型结构的步骤包括：从外部接收句向量提取模型结构；或者，获取句向量提取模型结构的步骤包括：利用预先构建的匹配问答对和不匹配问答对来训练问答对模型，问答对模型包括句向量提取模型结构和匹配运算结构，其中，匹配运算结构用于基于提取的句向量来获取问答对之中的问句与答句之间的匹配程度；从训练完毕的问答对模型中取出句向量提取模型结构。

可选地，问答对模型以尽量区分开匹配问答对与不匹配问答对为目标而进行训练，其中，匹配运算结构为相似度计算单元或神经网络结构。

可选地，分类模型包括：拼接层，用于将由句向量提取模型结构从输入语料的问答对之中的问句和答句分别提取的句向量进行拼接，以得到输入语料所对应的拼接向量；以及附加层，用于基于拼接向量来输出关于对应的输入语料是否适于作为问答对使用的分类结果。

可选地，附加层为至少一个全连接层。

可选地，利用训练出的分类模型，从全部语料之中的未标记语料筛选出适于作为问答对使用的语料的步骤包括迭代地执行如下步骤：利用训练出的分类模型对全部语料之中的至少一部分未标注语料进行评估；筛选出评估结果相对比较适于作为问答对使用的语料，并获取至少一部分筛选出的语料的标注结果；通过添加标注结果与评估结果不一致的语料来更新训练集；以及基于更新的训练集，更新或重新训练分类模型。