[发明专利]基于多源异构数据统一实体标识码的生成管理方法及系统

说明书

本发明公开一种基于多源异构数据统一实体标识码的生成管理方法及系统，涉及大数据技术领域。该方法包括获取源数据进行授权验证，源数据包括异构数据类型、关键识别特征字段和接口授权码；在源数据授权验证通过后，基于关键识别特征字段从多条实体记录中搜索实体标识码，若搜索成功则返回相应的实体标识码，若搜索失败则根据异构数据类型和关键识别特征字段生成新的实体标识码并返回；实体记录包括实体标识码以及与实体标识码对应的至少一个关键识别特征字段。该系统应用有上述方案所提的方法。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于多源异构数据统一实体标识码的生成管理方法及系统。

背景技术

随着社会发展，大数据与人工智能等技术的应用普及，越来越多的数据被收集和分析,海量的多源异构数据急剧增加。大数据的特征就是数据类型繁多、数据价值密度低、数据增长速度快，准确性和可信度低等特点。为了处理大规模数据，信息系统通常采用分布式的体系结构，导致数据具有多源、异构的特点，即数据通常分布在多个数据源中,数据源之间的种类、结构、实现、版本、部署环境等各不相同，导致数据处理难度大，多源异构的数据需要经过关联，实现数据的共享访问才能产生更大价值。

在多源异构数据的处理过程中，通常有一个主数据保存有主要的实体关键识别特征，可以用来区分不同数据来源中的不同实体，在数据库概念中可以将这个关键识别特征理解为数据库主键，这些关键识别特征能够针对不同数据类型用一个或者多个识别特征字段做实体标识码。考虑到不同数据源的识别特征字段可能不尽相同，一个识别特征字段在一个数据源中存在，但在另外一个数据源中有可能是没有值的。

现有技术中，对多源异构数据生成实体标识码的方法包括：

1、在数据库端生成唯一编码或者直接使用关键识别特征字段作为实体标识码。在数据库端生成唯一编码，常用的方法是通过GUID生成唯一字符串，或者是通过数据库内置的自增函数，直接在数据库端生成ID作为实体标识码。

2、通过数据库中搜索匹配的关键识别特征字段，判断实体是新增还是变更。如果在数据库中找到对应记录则判断当前实体已经存在可以变更，如果在数据库中没有找到对应记录则判断当前实体可以新增，系统通过上述步骤生成新的ID并创建一条实体标识码。

现有技术方案中，采用GUID或者自增函数表示的实体标识码，当数据暴露在外部页面时，很容易被有经验的系统分析人员分析出数据规律，并通过同样接口模拟调用而得到其它实体数据，对数据的防护能力不强。而使用关键识别特征字段作为实体标识码对数据的质量要求高，数据在输入时需要对数据的正确性、唯一性进行验证，通过验证后才能保存进数据库中，这种方法在大数据处理中很难被采用。

发明内容

本发明的目的在于提供一种基于多源异构数据统一实体标识码的生成管理方法及系统，通过对实体标识码进行统一的管理和分配，能够实现对多源异构源数据的互联互通和高效利用。

为了实现上述目的，本发明的第一方面提供一种基于多源异构数据统一实体标识码的生成管理系统，包括调用端、管理中心模块、搜索引擎模块和ID生成模块；

所述调用端用于获取源数据并上传至所述管理中心模块进行授权验证，所述源数据包括异构数据类型、关键识别特征字段和调用端的接口授权码；

所述搜索引擎模块用于在所述源数据的授权验证通过后，基于所述关键识别特征字段从多条实体记录中搜索实体标识码，若搜索成功则返回相应的实体标识码，若搜索失败则调用所述ID生成模块根据所述异构数据类型和所述关键识别特征字段生成新的实体标识码并返回；

所述实体记录包括实体标识码以及与所述实体标识码对应的至少一个所述关键识别特征字段。

优选地，还包括存储有与不同异构数据类型对应加密配置文件的配置中心模块；