[发明专利]一种跨平台的智能数据传输方法

说明书

技术领域

本发明涉电力系统数据传输领域，特别涉及一种跨平台的智能数据传输方法。

背景技术

随着电力系统的迅猛发展，计算机技术在电网系统中的应用也越来越广泛，外部数据资产对电力系统的发展有着一定的参考和指导价值，而且对数据的安全性要求比较高，有一部分重要的外部数据为外部天气数据，其存储格式为文本文档格式，且存储位置为远端服务器，出于对电力系统数据的安全性考虑，此远程服务器不允许直接向其他服务加载本地数据，或者直接连接生产服务器。根据全业务统一数据中心建设需求，需将天气数据由远端服务器抽取至全业务统一数据中心关系型数据库中，常规的技术路线是由数据管理人员，通过安全存储设备将该部分数据拷贝至缓冲服务器，再通过数据抽取工具将缓冲服务器中的文本文档数据抽取至关系型数据库，无法实现将远端服务器内的文本文件直接抽取至关系型数据库。该方法存在准确性差，实效性低，工作人员工作量大且效率不高，很难适应当下需求。

发明内容

本发明研究目的为：通过ETL技术与FTP技术相结合的方式，将远端服务器内的文本文件抽取至关系型数据库的技术方法，来解决当前在迁移天气数据时，需要人工参与才能完成外部数据的接入相应数据库，为后续的数据统计、分析提供技术支撑，指导相关业务工作开展。传统实现方式主要为“人工硬件拷贝+人工ETL文件入库”和“人工下载+人工ETL文件入库”，均需要人工参与，消耗人力成本，效率较低，且实时性较低，在传统的人工参与方式中，可能存在由于操作人员疏忽，而导致在数据拷贝或下载过程中，少拷贝或少下载文件，可能由于安全存储设备损坏，而导致数据无法拷贝等多种问题导致的影响数据传递质量差、时效性差等缺点。

本发明通过运用FTP技术和ETL技术相结合，实现了数据“智能拷贝、智能入库”，减少了人力成本，提升外部数据迁移的效率，为业务人员基于数据分析指导开展相关业务争取了宝贵时间。一种跨平台的智能数据传输方法，所述包括如下步骤：

步骤1通过外部数据接口，从广域网(中国天气网)中获取外部天气数据信息(城市、最高温度、最低温度、实际温度、相对湿度、降水量、风力、风向、日期、时间等)；

步骤2通过反向隔离数据接入技术，将在FTP服务器上的天气数据写入信息安全反向隔离装置指定的内网共享位置(只允许外部服务把数据写入到内网的指定存储服务中，不允许从外网读取信息)；

步骤3全业务统一数据中心侧通过数据智能传输模块中定时从共享位置智能下载，并将外部天气数据加载至全业务统一数据中心的缓冲区中；

步骤4根据全业务统一数据中间建设情况将天气数据和电力其他相关数据共同抽取至业务应用数据存储服务器(当前统一为数据仓库服务器)；

步骤5业务需求人员基于应用数据储存的天气数据和电力信息采集数据、档案数据、窃电案例数据等开展线损计算、窃电分析预测工作，并根据分析结果，指导相关业务开展；

与现有技术相比有益效果：跟传统技术相比有效减少了人力成本，提升数据迁移的效率，节省数据传输时间，数据安全性更高。

附图说明

图1数据传输架构图

图2智能传输模型结构图

具体的实施方式

对上述一种跨平台的智能数据传输方法，具体实施步骤如下：

步骤1通过外部数据接口，从广域网(中国天气网)中获取外部天气数据信息(城市、最高温度、最低温度、实际温度、相对湿度、降水量、风力、风向、日期、时间等)，将其暂时存在外部数据FTP服务器上；

步骤2通过反向隔离数据接入技术，将在FTP服务器上的天气数据写入信息安全反向隔离装置指定的内网共享位置(即一级数据存储服务器中且只允许外部服务把数据写入到内网的指定存储服务中，不允许从外网读取信息)；

步骤3通过数据智能传输模块中定时任务调度功能，通过对定时任务模块采取一天一次的定时任务指定智能传输模块会以ftp方式，定时登录一级数据存储服务器指定位置拷贝下载天气数据存储文件，将天气数据存储文件下载至ETL工具所在服务器。智能传输模块利用ETL工具，解析下载后的天气数据，并将外部天气数据抽取至全业务统一数据中心缓冲区中；

步骤4根据全业务统一数据中间建设情况将天气数据和电力其他相关数据共同抽取至业务应用数据存储服务器(当前统一为数据仓库服务器)；

步骤5业务人员根据业务需要利用数据仓库中天气数据器其他数据开展业务进展分析，并根据分析结果开展线损降损和防窃电预测等工作。