[发明专利]基于数据整合的政府财政数据采集系统及数据采集方法

权利要求书

1.基于数据整合的政府财政数据采集系统，其特征在于，

所述系统包括：数据源数据库、存储数据库、数据表格生成单元和数据表格读取单元和数据采集单元；

所述数据表格生成单元，用于根据选取的数据字段生成对应的数据采集表格；

所述数据采集单元，用于按照生成的数据采集表格对应的格式，从数据源数据库获取数据，得到相应格式的源数据；

所述数据表格读取单元，用于读取源数据，校验源数据，然后将源数据并导入存储数据库；

所述数据采集单元在按照生成的数据采集表格对应的格式，从数据源数据库获取数据时，若获取的数据源数据库为多个不同的数据库时，还需要对从不同的数据库获取的数据进行数据整合；

所述数据整合的方法包括：

步骤S1：对来源于不同数据库的异构数据进行异构数据成分分析；

步骤S2：根据异构数据成分分析的结果，对异构数据进行数据整合；

所述步骤S1中：进行异构数据成分分析的方法包括：

分析来自于不同数据源的异构数据的主成分，根据主成分，得出异构数据之间的异构程度值，将异构程度值低于设定的阈值的异构数据归为同构数据，完成异构数据的初步整合；

具体包括：以下步骤：使用如下公式，利用自相关算法计算不同数据源的异构数据之间的相似系数：

其中，xi和x为不同两个不同数据源的异构数据的主成分，n为计算次数，B为调整系数，取值范围为：15～20；

所述步骤S2基于步骤S1中得出的异构数据成分分析结果，完成异构数据整合的方法执行以下步骤：

基于异构数据成分分析结果；对异构数据进行归一化处理得到分类目标异构数据矩阵；使用如下公式，将分类目标异构数据矩阵分别与每一个数据库的数据特征群进行映射匹配：

其中，sim(dj，dk)为映射匹配结果，为产品目标异构数据矩阵，wji为矩阵行值，|dj|为对应的矩阵行列式的值；为定向特征空间群，wki为矩阵行值，|dk|为对应的矩阵行列式的值；根据最终映射匹配的结果，将匹配映射结果sim(dj，dk)最小的值对应的数据特征群作为对应数据的整合结果。

2.如权利要求1所述的系统，其特征在于，所述数据表格生成单元包括：

目标数据选择单元，用于选择需要采集的数据字段；

采集表格生成单元，用于根据选择的数据字段生成对应的数据采集表格；

校验字段生成单元，用于在生成的数据采集表格的基础上生成校验字段。

3.如权利要求2所述的系统，其特征在于，所述数据表格读取单元包括：

数据校验单元，用于对数据采集单元按照数据采集表格获取的相应格式的源数据进行校验；

数据类型规整单元，用于根据校验字段记录的数据类型规整源数据的数据类型；

数据录入单元用于将源数据导入存储数据库；校验结果输出单元，用于输出数据校验信息，统计未通过数据校验的数据，以及对应的错误信息。