[发明专利]一种数据采集方法及系统

权利要求书

1.一种数据采集方法，其特征在于，具有以下步骤：

S1、制定需求：

根据数据需求方对数据的数据需求，对数据进行分析，编写数据字典，汇总数据库信息；

S2、生成采集脚本：

将要待采集的需求数据字典表及数据库信息输入数据采集脚本自动化生成工具，点击脚本生成按钮，生成Informatica三层采集脚本；

S3、脚本验证：

包括：

S301、在对应的数据库中创建验证表；

S302、将生成的Informatica三层采集脚本按采集流程顺序一、二、三层导入到Informatica中；

S303、点击运行一、二、三层采集程序；

S304、运行完毕，查看数据库中表数据是否准确采集到表中，若数据能正常采集到表中，则表明脚本正确；

若数据未能准确的采集到表中，则表明脚本有误；

S4、脚本自动化生成工具优化；

S5、脚本上线；

S6、数据巡检及数据质量核查。

2.根据权利要求1所述的一种数据采集方法，其特征在于，在步骤S4中，对采集脚本自动化生成工具的使用和采集开发人员对采集脚本的二次开发。

3.根据权利要求2所述的一种数据采集方法，其特征在于，在步骤S5中，在正式环境中，将验证无误的数据采集脚本上线，启动采集程序。

4.一种数据采集系统，其特征在于，包括制定需求模块、生成采集脚本模块、脚本验证模块、优化模块和脚本上线模块；

所述制定需求模块用于汇总数据库信息，供生成采集脚本模块使用，所述生成脚本模块用于将待采集的需求数据字典表及数据库信息输入数据采集脚本自动化工具，生成Informatica三层采集脚本，供脚本验证模块进行验证，优化模块用于对采集脚本的二次开发，脚本上线模块用于将验证无误的数据采集脚本上线，启动采集程序；

所述脚本验证模块包括：

1）在对应的数据库中创建验证表；

2）将生成的Informatica三层采集脚本按采集流程顺序一、二、三层导入到Informatica中；

3）点击运行一、二、三层采集程序；

4）运行完毕，查看数据库中表数据是否准确采集到表中，若数据能正常采集到表中，则表明脚本正确；若数据未能准确采集到表中则表明脚本有误。