[发明专利]一种基于kettle实现档案数据自动上传同步的方法

说明书

本发明提供一种基于kettle实现档案数据自动上传同步的方法，其包括以下步骤：步骤S1：基于kettle工具将某类档案的明细数据进行抽取，配置SMTP服务实现明细数据定时以Excel的形式输出；步骤S2：将档案数据以增量形式定时自动上传到目标系统，从而实现数据的自动更新。在利用现有服务器资源的基础上，结合kettle、数据库等技术手段实现定时自动同步和上传基础数据档案，保障数据更新的及时性，解放了生产力，改变人工操作的现状，提升了工作效率。

技术领域

本发明属于档案数据自动化处理领域，具体涉及一种基于kettle实现档案数据自动上传同步的方法。

背景技术

自国家电网公司成立以来，认真贯彻国家节能减排政策，深化线损管控，积极推进“四分”管理（分区、分压、分元件、分台区），节能降损工作取得显著成效。同期线损系统为保证“四分”线损计算的准确性，基础档案信息需要与源端系统（PMS、营销、GIS等系统）保持一致，而源端数据档案数据表多，数据量大，且更新异动频繁，这就需要同期线损系统做到及时同步、上传源端系统档案，此前这项工作需要安排专人触发同步、上传操作，操作过程繁琐，且耗费时间。为了节省人力成本，提高工作效率，对源端系统档案数据自动同步、自动上传机制进行深化研究，实现档案数据同步、上传的自动化是很有必要的。

基础档案数据量大，更新频率快，传统的人工处理方法弊端日益明显，在利用现有服务器资源情况下，结合kettle、数据库等技术可以实现基础档案数据的自动同步与更新。

发明内容

本发明的目的是提供一种基于kettle实现档案数据自动上传同步的方法。

本发明采用以下技术方案：一种基于kettle实现档案数据自动上传同步的方法，其特征在于：包括以下步骤：步骤S1：基于kettle工具将某类档案的明细数据进行抽取，配置SMTP服务实现明细数据定时以Excel的形式输出；步骤S2：将档案数据以增量形式定时自动上传到目标系统，从而实现数据的自动更新。

在本发明一实施例中，步骤S1中还包括以下步骤：将同步日志和数据发送至指定邮箱。

进一步的，步骤S1包括以下具体步骤：步骤S11：在Kettle中配置按规则获取时间节点；步骤S12：当Kettle同步档案后，配置输出已同步档案明细文件；步骤S13：在Kettle配置添加输出文件到结果文件中；步骤S14：在Kettle邮件设置中指定邮件收或发件人信息；步骤S15：设置SMTP邮件服务器及用户验证信息；步骤S16：设置需要发送的邮件内容和附件；步骤S17：将已编辑好的kettle程序上传至目标系统的服务器，编写脚本调用kettle；步骤S18：设置crontab定时任务，定时执行已编辑好的脚本。

在本发明一实施例中，步骤S2包括以下步骤：步骤S21：通过PL/SQL配置定时任务，每天凌晨调用执行存储过程，清除无需上传的数据；步骤S22：在kettle中配置job，设定需要上传的档案类别，将需上传的数据抽取至数据中心；步骤S23：按规则条件抽取对应档案数据；步骤S24：将档案抽取程序上传至服务器端，在服务器端通过定时任务调用执行程序；编写档案抽取脚本，执行档案抽取命令；定时调用档案抽取脚本；步骤S25：将档案上传程序上传至服务器端，在服务器端通过定时任务调用；步骤S26：编写档案上传脚本，执行档案上传操作；定时调用档案上传脚本，实现定时自动上传基础档案。

与现有技术相比，本发明具有以下优点：在利用现有服务器资源的基础上，结合kettle、数据库等技术手段实现定时自动同步和上传基础数据档案，保障数据更新的及时性，解放了生产力，改变人工操作的现状，提升了工作效率。

附图说明

图1是本发明的分析流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面将结合附图，进一步阐述本发明。