[发明专利]工作票文本去重方法、装置、系统及计算机存储介质

说明书

本申请涉及一种工作票文本去重方法、装置、系统及计算机存储介质，其中，所述方法包括以下步骤：依次获取工作票数据库中的第一待检测工作票数据；依次将各第一待检测工作票数据与第一剩余的工作票数据进行比对；根据比对的结果，删除重复的工作票数据，得到第二剩余的工作票数据；依次获取工作票数据库中的第二待检测工作票数据；依次将各第二待检测工作票数据与第二剩余的工作票数据进行相似度匹配；根据匹配的结果，删除第二剩余的工作票数据中与第二待检测工作票数据的相似度大于预设阈值的工作票数据，进而实现对工作票数据库的工作票文本去重。本申请能够在去重过程中，有效地剔除重复文本，提高去重效率，以及提高数据库的使用效率。

技术领域

本申请涉及文本信息处理技术领域，特别是涉及一种工作票文本去重方法、装置、系统及计算机存储介质。

背景技术

工作票是国标中明确要求在电气设备或线路上工作的重要组织措施；是明确安全职责、履行工作许可手续和实施安全技术措施的书面依据；是电力系统保障人身安全、电网安全和设备安全的手段之一。目前，工作票已经建立了庞大的数据库。长期以来的数量积累使得大量的数据堆积在数据库中，没有得到进一步的处理以及深度数据发掘，尤其是工作票数据中，同样的工作任务可能会持续地出现，使得数据库中有大量的数据是重复出现的，使得对数据库的利用效率有所下降。

在实现过程中，发明人发现传统技术中至少存在如下问题：传统的工作票数据库中，通常任由数据进行重复累积，导致数据库的高相似度文本内容大量堆积，降低了数据库的使用效率。

发明内容

基于此，有必要传统的工作票数据库中，通常任由数据进行重复累积，导致数据库的高相似度文本内容大量堆积，降低了数据库的使用效率的问题，提供一种工作票文本去重方法、装置、系统及计算机存储介质。

为了实现上述目的，本发明实施例提供了一种工作票文本去重方法，包括以下步骤：

依次获取工作票数据库中的第一待检测工作票数据；

依次将各第一待检测工作票数据与工作票数据库中第一剩余的工作票数据进行比对；

根据比对的结果，删除第一剩余的工作票数据中与待检测工作票数据相同的工作票数据，得到工作票数据库中第二剩余的工作票数据；

依次获取工作票数据库中的第二待检测工作票数据；第二待检测工作票数据为第二剩余的工作票数据中的工作票数据；

依次将各第二待检测工作票数据与第二剩余的工作票数据进行相似度匹配；

根据匹配的结果，删除第二剩余的工作票数据中与第二待检测工作票数据的相似度大于预设阈值的工作票数据。

在其中一个实施例中，根据匹配的结果，删除第二剩余的工作票数据中与第二待检测工作票数据的相似度大于预设阈值的工作票数据的步骤包括：

获取对应相似度大于预设阈值的工作票数据的索引号；

根据索引号，删除相似度大于预设阈值的工作票数据。

在其中一个实施例中，根据匹配的结果，删除第二剩余的工作票数据中与第二待检测工作票数据的相似度大于预设阈值的工作票数据的步骤包括：

基于TF-IDF算法处理第二待检测工作票数据和第二剩余的工作票数据，得到相似度。

在其中一个实施例中，基于TF-IDF算法处理第二待检测工作票数据和第二剩余的工作票数据，得到相似度的步骤包括：

对第二待检测工作票数据进行分词，得到工作票分词信息；

将工作票分词信息输入TF-IDF模型进行处理，得到对应第二待检测工作票数据的次数；

基于TF-IDF算法处理次数，得到相似度。