[发明专利]一种身份识别的数据归一方法、装置及介质

说明书

本发明提供了一种身份识别的数据归一方法、装置及介质，该方法首先构建对应的身份属性数据集；然后判断是否存在识别身份属性数据集的匹配规则，如果是，使用规则匹配方法对身份属性数据集进行识别，如果否，使用路径匹配方法对身份属性数据集进行识别；再对获得的识别结果中的至少两条数据记录进行可信度计算，如果可信度达到一定阈值，则将所述至少两条数据记录进行归一操作后保存在数据库中。本发明根据数据记录的不同特点，自适应的选择使用规则匹配算法还是使用路径匹配算法，能够快速将符合规则特征的身份归一化，还能够更全面将无明显一致特征的身份进行归一化，这种方法将极大提高身份归一的准确性，并提出了规则匹配算法及路径匹配算法。

技术领域

本发明涉及计算机数据处理技术领域，特别是一种身份识别的数据归一方法、装置及存储介质。

背景技术

移动互联网时代，每天都会产生海量的数据，如现实生活中的住宿、驾车、出行等，虚拟世界中的即时通讯、第三方支付等；这些数据量大、无统一的标识特征，导致各类数据零散、无法关联，如何自动分析并将相关数据的身份进行归一化，成为提升海量数据分析能力和分析效率的工作难点。

由于数据随着各种应用类型的增加而不断增加，且无统一的标识特征，目前市场上现有的身份归一方法，主要通过人工配置的方式，对数据源间的关系一个个进行判断，这些技术无法满足现实中复杂的分析需求，其技术缺陷如下：

1)人工配置方式，需要耗费大量的业务研究时间，而且容易出现错、漏的情况，极大影响数据分析工作的效率和质量；

2)单一匹配规则：由于数据之间很多情况下无法只通过单一规则进行关联，导致最终能关联上的数据覆盖率不足，严重影响系统的使用效果和用户体验。

发明内容

本发明针对上述现有技术中的缺陷，提出了如下技术方案。

一种身份识别的数据归一方法，该方法包括：

提取步骤，从多个数据源中提取数据记录中包含的身份属性信息，构建对应的身份属性数据集；

判断步骤，判断是否存在识别身份属性数据集的匹配规则，如果是，使用规则匹配方法对身份属性数据集进行识别，如果否，使用路径匹配方法对身份属性数据集进行识别；

可信度计算步骤，对获得的识别结果中的至少两条数据记录进行可信度计算，如果可信度达到一定阈值，则将所述至少两条数据记录进行归一操作；

保存步骤，将归一操作后的数据记录及对应的可信度保存在数据库中。

更进一步地，所述构建对应的身份属性数据集的操作为：通过提取多个数据源包含的身份属性信息，构建身份属性数据集S，集合S包含n个子集合{S1，S2，…，Sn}，每个子集包含的数据项有：类型、账号、关联账号类型、关联账号、时段和来源ID，每个子集的数据项是以类型+账号为唯一性标识进行排重以过滤掉重复的数据。

更进一步地，所述使用规则匹配方法对身份属性数据集进行识别的操作为：

提取提取规则匹配库中的所有规则，构建规则数据集Sb，遍历身份属性数据集Si，如果Si的类型存在于Sb，则依据Si的账号进行比对，如果存在一致的两条数据记录，则生成新数据集Sc，数据集Sc的要素为两条数据记录的来源ID1、来源ID2、规则ID及权重，然后，遍历数据集Sc，如果有相同来源ID1和来源ID2的不同记录，且不同记录间的规则ID存在关联，则将这些记录进行合并，并且根据Sb的权重叠加方式，得到最终的权重，更新数据集Sc，其中，1≦i≦n；