[发明专利]基于哈希算法的企业画像数据预处理方法和系统

说明书

本申请公开了一种基于哈希算法的企业画像数据预处理方法和系统，方法包括：计算企业数据库内存储的企业旧数据指标项的权重；设定权重阈值；设定企业主要旧数据指标项和企业次要旧数据指标项；计算MainData和SecondaryData的哈希值；将MainResult和SecondaryResult存入企业数据库内；采集企业新数据指标项；设定企业主要新数据指标项和企业次要新数据指标项；计算MainDataNew和SecondaryDataNew的哈希值；比较新旧哈希值。本发明将企业数据指标项变换成两个哈希值，简化了哈希值对比次数。通过不同的哈希算法计算哈希值，降低了计算资源的浪费，提高了数据处理效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于哈希算法的企业画像数据预处理方法和系统。

背景技术

随着网络技术不断发展，用户在网上留存的痕迹越来越多，我们可以对用户在不同网络环境中留下的大量个人痕迹等碎片化数据进行充分的挖掘，发现其中潜在的价值，这就是用户画像技术。受此影响，将企业作为一个个体同样可以进行画像刻画，通过搜集企业的一系列相关数据进行处理分析，抽取出可以描述企业特征的标签体系，满足政府对企业的监管引导、企业实体合作、金融机构评估等各类日益增长的需求。

企业画像的刻画是在企业各类相关数据的汇聚融合基础上进行的，很大程度上依赖于互联网数据的采集，如企业公布的财务报告、企业招聘信息、企业涉诉情况、各类舆情信息等，均需通过互联网获取。互联网数据具有更新频率高、数据量大、内容繁杂、结构不统一等特点，这给互联网数据的汇聚融合带来很大障碍。一个企业的数据指标项有几十甚至上百项，考虑到数据存储的冗余限制，不可能所有新采集的数据均存入数据库中，只有必要的已发生更新的指标项数据才会执行更新操作。而逐一对比各项指标内容将耗费大量计算资源，在企业基数达到几十万甚至上百万时，这个问题也将呈指数级放大。因此，有必要通过技术革新来缓解或解决这个数据比对过程中耗费资源巨大的问题。

发明内容

本发明公开了一种基于哈希算法的企业画像数据预处理方法，包括步骤：

计算企业数据库内存储的企业旧数据指标项的权重；

设定权重阈值；

将权重大于或等于所述权重阈值的企业旧数据指标项设定为企业主要旧数据指标项，将权重小于所述权重阈值的企业旧数据指标项设定为企业次要旧数据指标项；

将所述企业主要旧数据指标项按设定顺序整合形成统一的数据串，定义为MainData；将所述企业次要旧数据指标项按设定顺序整合形成统一的数据串，定义为SecondaryData；

计算所述MainData和所述SecondaryData的哈希值，包括步骤：

采用SHA1算法计算所述MainData的哈希值，计算结果为MainResult；

采用MD5算法计算所述SecondaryData的哈希值，计算结果为SecondaryResult；

将所述MainResult和所述SecondaryResult存入所述企业数据库内；

通过互联网采集与所述企业旧数据指标项对应的企业新数据指标项；

将与所述企业主要旧数据指标项对应的企业新数据指标项设定为企业主要新数据指标项，将与所述企业次要旧数据指标项对应的企业新数据指标项设定为企业次要新数据指标项；

将所述企业主要新数据指标项按设定顺序整合形成统一的数据串，定义为MainDataNew；将所述企业次要新数据指标项按设定顺序整合形成统一的数据串，定义为SecondaryDataNew；

计算所述MainDataNew和所述SecondaryDataNew的哈希值，包括步骤：