[发明专利]一种数据采集方法及系统

说明书

本发明涉及数据采集领域，具体提供了一种数据采集方法，具有以下步骤：S1、制定需求；S2、生成采集脚本；S3、脚本验证；S4、脚本自动化生成工具优化；S5、脚本上线；S6、数据巡检及数据质量核查。与现有技术相比，本发明的一种数据采集方法，可以解决数据分散、脏数据的问题，且能大大提升数据采集的效率，具有良好的推广价值。

技术领域

本发明涉及数据采集领域，具体提供一种数据采集方法及系统。

背景技术

数据，作为生产资料已成为社会共识。数据的集中采集、开发和利用能够有效形成产业聚集效应，带来巨大的经济价值和社会效应。近年来由于企业、机构对各种数据的需求越来越大，如何将大量的数据转换成有用的信息，为人民生活和社会发展的各方面提供正确的决策，传统的数据库系统已经无法满足需要。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的数据采集方法。

本发明进一步的技术任务是提供一种设计合理，安全适用的数据采集系统。

本发明解决其技术问题所采用的技术方案是：

一种数据采集方法，具有以下步骤：

S1、制定需求；

S2、生成采集脚本；

S3、脚本验证；

S4、脚本自动化生成工具优化；

S5、脚本上线；

S6、数据巡检及数据质量核查。

进一步的，在步骤S1中，根据数据需求方对数据的数据需求，对数据进行分析，编写数据字典，汇总数据库信息。

进一步的,在步骤S2中，将要待采集的需求数据字典表及数据库信息输入数据采集脚本自动化生成工具，点击脚本生成按钮，生成Informatica三层采集脚本。

进一步的,在步骤S3中，包括：

S301、在对应的数据库中创建验证表；

S302、将生成的Informatica三层采集脚本按采集流程顺序一、二、三层导入到Informatica中；

S303、点击运行一、二、三层采集程序；

S304、运行完毕，查看数据库中表数据是否准确采集到表中，若数据能正常采集到表中，则表明脚本正确；

若数据未能准确的采集到表中，则表明脚本有误。

进一步的，在步骤S04中，对采集脚本自动化生成工具的使用和采集开发人员对采集脚本的二次开发。

进一步的，在步骤S5中，在正式环境中，将验证无误的数据采集脚本上线，启动采集程序。

一种数据采集系统，包括制定需求模块、生成采集脚本模块、脚本验证模块、优化模块和脚本上线模块；

所述制定需求模块用于汇总数据库信息，供生成采集脚本模块使用，所述生成脚本模块用于将待采集的需求数据字典表及数据库信息输入数据采集脚本自动化工具，生成Informatica三层采集脚本，供脚本验证模块进行验证，优化模块用于对采集脚本的二次开发，脚本上线模块用于将验证无误的数据采集脚本上线，启动采集程序。

进一步的，所述脚本验证模块包括：

1)在对应的数据库中创建验证表；

2)将生成的Informatica三层采集脚本按采集流程顺序一、二、三层导入到Informatica中；

3)点击运行一、二、三层采集程序；