[发明专利]追溯数据的抓取、去重及修复方法

说明书

本发明提供一种追溯数据抓取、去重及修复方法，包括：抓取产品的产品追溯码和若干维度的产品数据；依据抓取的若干维度的产品数据计算产品特征值和缺失标志值；产品追溯码、产品特征值和缺失标志值组成产品识别码；当产品识别码的产品追溯码与数据库中已有的产品识别码的产品追溯码相同时，比产品特征值与数据库中已有的产品特征值进行比较，当产品特征值与数据库中已有的产品特征值不同时，查看数据库中已有的缺失标志值，当缺失标志值显示为缺失时，将抓取的若干维度的产品数据补充进入数据库并重新计算特征值。本方法能够实现数据的自我修复，能够对产品的追溯数据不断完善。

技术领域

本发明涉及数据追溯技术领域，尤其涉及一种追溯数据的抓取、去重及修复方法。

背景技术

目前市场上的追溯数据抓取技术，往往是针对某些特定产品生产厂商的追溯数据格式、内容而定制化开发的数据抓取模块。或者通过购买数据转换类软件，并通过定制化配置的方式来适配数据源。这种方式缺乏通用性，无法适配整个行业不同生产厂商的追溯数据源。然后通过在数据库中判断某些特定字段是否一致，进而识别出重复数据。此种方法效率较低，且单独比对某些字段来识别重复数据的方法相对来说较为片面，无法通过分析全要素数据来综合识别综合数据。而对于数据的更新往往是通过分析数据更新时间，用最近更新的数据来覆盖旧的数据。缺乏分析数据完整性的功能。

发明内容

本发明提供的追溯数据的抓取、去重及修复方法，能够进行数据的自我修复。

本发明提供一种追溯数据抓取、去重及修复方法，包括：

抓取产品的产品追溯码和若干维度的产品数据；依据抓取的所述若干维度的产品数据计算产品特征值；依据所述产品数据的缺失情况计算缺失标志值；所述产品追溯码、产品特征值和所述缺失标志值组成产品识别码；

将所述产品识别码与数据库中已有的产品识别码进行比较；当所述产品识别码的产品追溯码与所述数据库中已有的产品识别码的产品追溯码相同时，比较所述产品识别码的产品特征值与所述数据库中已有的产品识别码的产品特征值进行比较，当所述产品识别码的产品特征值与数据库中已有的产品识别码的产品特征值不同时，查看数据库中已有的产品识别码的缺失标志值，当所述缺失标志值显示为缺失时，将抓取的所述若干维度的产品数据补充进入数据库并重新计算特征值。

可选地，计算所述产品特征值包括如下步骤：

采用Hash算法计算每个产品数据的特征数据，

将所述特征数据组成矩阵，计算所述矩阵的本征值，所述矩阵的本征值即为所述特征值。

可选地，当所述产品识别码的产品追溯码与所述数据库中已有的产品识别码的产品追溯码不同时，将抓取的所述若干维度的产品数据存储进入数据库。

可选地，当所述产品识别码的产品特征值与数据库中已有的产品识别码的产品特征值相同时，忽略抓取的所述若干维度的产品数据。

可选地，当所述缺失标志值显示为不缺失时，发出警告并记录日志。

可选地，将抓取的所述若干维度的产品数据补充进入数据库并重新计算特征值包括如下步骤：

查看数据库中已有的若干维度的产品数据缺失的数据项，将抓取的所述若干维度的产品数据对应的数据项补充进入所述缺失的数据项；

依据补充完毕的若干维度的产品数据，重新计算数据库中已有的产品识别码的产品特征值和缺失标志值。

可选地，将所述产品识别码与数据库中已有的产品识别码进行比较时，将所述产品识别码分为若干组，并将每组所述产品识别码分配至至少一个服务器进行运算。

可选地，所述若干维度的产品数据包括品类数据和单品数据。