[发明专利]一种数据处理方法及装置

说明书

本申请实施例提供了一种数据处理方法及装置，在获取到对待存储数据的数据存储请求后，可以对待存储数据进行分词，得到第一分词结果，根据第一分词结果判断目标数据库中是否存在与待存储设备匹配的目标数据，目标数据具有第二分词结果，第二分词结果与第一分词结果的匹配值大于或等于第一预设值，若是，说明待存储数据是目标数据的重复数据，则可以拒绝响应数据存储请求，由于重复数据是根据分词结果的匹配值确定的，具有一定的准确性，从而有效防止目标数据库中重复数据的增加，提高数据库的利用率。

技术领域

本发明涉及计算机领域，特别是涉及一种数据处理方法及装置。

背景技术

随着信息化时代的到来，人们面临越来越多的数据，通过数据库可以对数据进行存储和管理，用户可以向数据库中存储数据，也可以通过检索词查询与检索词相关的数据，例如可以查找包括检索词的数据作为查找结果。

目前，在用户向数据库中存储数据时，可以通过数据库对数据的唯一性限制，防止完全匹配的数据的增加，例如待存储数据的名称与已有数据的名称一致，则可以不进行该数据的存储。然而，这种方式并不能有效防止重复数据的增加，容易导致数据库中存在冗余数据。

发明内容

为解决上述技术问题，本申请实施例提供一种数据处理方法及装置，降低数据库中的重复数据，提高数据库的利用率。

本申请实施例提供了一种数据处理方法，包括：

获取对待存储数据的数据存储请求，所述数据存储请求指示将所述待存储数据存储至目标数据库；

对所述待存储数据进行分词，得到第一分词结果；

根据所述第一分词结果，判断所述目标数据库中是否存在与所述待存储数据匹配的目标数据，所述目标数据具有第二分词结果，所述第二分词结果与所述第一分词结果的匹配值大于或等于第一预设值；

若是，则拒绝响应所述数据存储请求。

可选的，所述第一分词结果是对所述待存储数据的数据名称进行分词得到的，所述第二分词结果是对所述目标数据的数据名称进行分词得到的；或，所述第一分词结果是对所述待存储数据的数据名称和数据内容进行分词得到的，所述第二分词结果是对所述目标数据的数据名称和数据内容进行分词得到的。

可选的，所述第一分词结果包括多个第一词，所述第二分词结果包括多个第二词；则，

所述第一分词结果和所述第二分词结果的匹配值根据与所述第二词匹配的第一词的数量确定；或，

各个所述第一词具有权重，所述第一分词结果和所述第二分词结果的匹配值根据与所述第二词匹配的第一词的数量和权重确定。

可选的，所述方法还包括：

若否，则向所述目标数据库存储所述待存储数据。

可选的，所述拒绝响应所述数据存储请求，包括：

显示所述目标数据；

根据用户触发的对所述待存储数据的取消存储请求，拒绝响应所述数据存储请求。

可选的，所述显示所述目标数据，包括：

确定所述目标数据库中的匹配数据，所述匹配数据具有第四分词结果，所述第四分词结果与所述第一分词结果的匹配值大于或等于第二预设值，所述第二预设值小于或等于所述第一预设值；

按照所述第四分词结果与所述第一分词结果的匹配值从高到低，显示所述匹配数据。

本申请实施例提供了一种数据处理装置，所述装置包括：

请求获取单元，用于获取对待存储数据的数据存储请求，所述数据存储请求指示将所述待存储数据存储至目标数据库；