[发明专利]一种样本处理方法、装置、设备和介质

说明书

本发明实施例公开了一种样本处理方法、装置、设备和介质，其中，方法包括：获取预设文本匹配模型的初始训练样本，并对所述初始训练样本中的查询文本进行聚类处理，其中，所述查询文本为输入至所述预设文本匹配模型中的关键字；根据聚类处理的结果及各初始训练样本的时间戳，对所述初始训练样本中负样本进行去重和修正，得到目标模型训练样本。解决了现有技术中采集到的预设文本匹配模型的训练样本数据中负样本标签错误及重复率高，导致样本数据质量低的问题，实现了根据初始训练样本中查询文本相似度及样本时间戳进行样本去重，提升预设文本匹配模型的训练样本的质量。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种样本处理方法、装置、设备和介质。

背景技术

在知识问答系统中，会根据用户输入的查询文本内容，为用户提供与查询文本相关联的文本内容，如与关键字相关联的多篇文章，以供用户点击阅读。其中，知识问答系统给用户反馈的文章的排序，会直接影响用户对知识问答系统的使用体验。

知识问答系统是以用户输入查询文本后，是否点击查看系统反馈相关文章的行为分别作为知识问答系统模型训练的正样本和负样本的。

但是，在实现本发明的过程中，发现现有技术中至少存在以下技术问题：知识问答系统模型训练过程中，负样本的选取过于粗糙，在一些情况下，知识问答系统根据查询文本反馈的文章没有被点击的行为，并不是负样本，模型训练样本质量有待提升，学习结果依赖于样本数据质量的知识问答系统模型还需要进一步优化。

发明内容

本发明实施例提供了一种样本处理方法、装置、设备和介质，以实现提高模型训练样本的质量，使文本匹配模型得到更好地学习，训练得到的文本匹配模型输出结果准确度更高。

第一方面，本发明实施例提供了一种样本处理方法，该方法包括：

获取预设文本匹配模型的初始训练样本，并对所述初始训练样本中的查询文本进行聚类处理，其中，所述查询文本为输入至所述预设文本匹配模型中的关键字；

根据聚类处理的结果及各初始训练样本的时间戳，对所述初始训练样本中负样本进行去重和修正，得到目标模型训练样本。

第二方面，本发明实施例还提供了一种样本处理装置，该装置包括：

文本聚类模块，用于获取预设文本匹配模型的初始训练样本，并对所述初始训练样本中的查询文本进行聚类处理，其中，所述查询文本为输入至所述预设文本匹配模型中的关键字；

样本处理模块，用于根据聚类处理的结果及各初始训练样本的时间戳，对所述初始训练样本中负样本进行去重和修正，得到目标模型训练样本。

第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的一种样本处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的一种样本处理方法。

上述发明中的实施例具有如下优点或有益效果：