[发明专利]工作票文本去重方法、装置、系统及计算机存储介质

权利要求书

1.一种工作票文本去重方法，其特征在于，包括以下步骤：

依次获取工作票数据库中的第一待检测工作票数据；

依次将各所述第一待检测工作票数据与所述工作票数据库中第一剩余的工作票数据进行比对；

根据比对的结果，删除所述第一剩余的工作票数据中与所述待检测工作票数据相同的工作票数据，得到所述工作票数据库中第二剩余的工作票数据；

依次获取所述工作票数据库中的第二待检测工作票数据；所述第二待检测工作票数据为所述第二剩余的工作票数据中的工作票数据；

依次将各所述第二待检测工作票数据与所述第二剩余的工作票数据进行相似度匹配；

根据匹配的结果，删除所述第二剩余的工作票数据中与所述第二待检测工作票数据的相似度大于预设阈值的工作票数据。

2.根据权利要求1所述的工作票文本去重方法，其特征在于，所述根据匹配的结果，删除所述第二剩余的工作票数据中与所述第二待检测工作票数据的相似度大于预设阈值的工作票数据的步骤包括：

获取对应所述相似度大于预设阈值的工作票数据的索引号；

根据所述索引号，删除所述相似度大于预设阈值的工作票数据。

3.根据权利要求1所述的工作票文本去重方法，其特征在于，所述根据匹配的结果，删除所述第二剩余的工作票数据中与所述第二待检测工作票数据的相似度大于预设阈值的工作票数据的步骤包括：

基于TF-IDF算法处理所述第二待检测工作票数据和所述第二剩余的工作票数据，得到所述相似度。

4.根据权利要求3所述的工作票文本去重方法，其特征在于，所述基于TF-IDF算法处理所述第二待检测工作票数据和所述第二剩余的工作票数据，得到所述相似度的步骤包括：

对所述第二待检测工作票数据进行分词，得到工作票分词信息；

将所述工作票分词信息输入TF-IDF模型进行处理，得到对应所述第二待检测工作票数据的次数；

基于TF-IDF算法处理所述次数，得到所述相似度。

5.根据权利要求1所述的工作票文本去重方法，其特征在于，依次获取所述工作票数据库中的第二待检测工作票数据的步骤之前还包括：

将所述第二待检测工作票数据与所述工作票数据库的典型工作票数据进行匹配；

依次获取所述工作票数据库中的第二待检测工作票数据的步骤包括：

在所述第二待检测工作票数据与所述典型工作票之间的相似度小于相似工作票阈值时，获取所述第二待检测工作票数据。

6.根据权利要求5所述的工作票文本去重方法，其特征在于，所述将所述第二待检测工作票数据与所述工作票数据库的典型工作票数据进行匹配的步骤之后还包括：

在所述第二待检测工作票数据与所述典型工作票之间的相似度大于或等于相似工作票阈值时，删除所述第二待检测工作票数据。

7.根据权利要求1所述的工作票文本去重方法，其特征在于，所述依次将各所述第一待检测工作票数据与所述工作票数据库中第一剩余的工作票数据进行比对的步骤包括：

分别对各所述第一待检测工作票数据进行数据预处理，得到各预处理后的第一待检测工作票数据；

依次将各所述预处理后的第一待检测工作票数据与所述工作票数据库中第一剩余的工作票数据进行比对。