[发明专利]一种面向TAS系统的实时数据清洗与转换方法

说明书

本发明涉及一种面向TAS系统的实时数据清洗与转换方法，将TAS系统数据的数据源融合，获取待清洗的数据，对待清洗的数据进行处理，以获取干净数据，将干净数据存入融合数据库中，从而实现多个系统间的数据共享以实现实时数据清洗与转换；本发明通过将TAS系统数据经过抽取/转换/加载的过程，使得在前端展示过程中，不再需要从各自的独立系统获取数据，大大缩短了查询时间，将数据展示的实效性大大提高，同时配置更加灵活，对于元数据的管理也更加便捷，在数据处理中，使得数据的传输更加可靠，增加安全性，满足更高的要求，实现了高效融合、降低同步时间、提高时效性。

技术领域

本发明涉及数据清洗和数据库建模技术领域，具体的说是一种面向TAS系统的实时数据清洗与转换方法。

背景技术

数据是现代企业的重要资源，是企业运用科学管理、决策分析的基础。目前，电力企业花费大量的资金和时间来构建联机事务处理OLTP的业务系统和数据决策系统，用来记录事务处理以及装置采集的各种相关数据。据统计，数据量每2～3年时间就会成倍增长，这些数据蕴含着巨大的应用价值，而企业所关注的通常只占在总数据量的2％～4％左右。在数据清洗的过程中，需要采用ET(Extract-Transform-Load)技术，主要实现：1.根据规则消除数据错误纠正缺失数据；2.将多源数据实现融合，结构化输入；3.提供对于数据可信度的文档化衡量；行业中通常采用通用的技术工具，但是会存在安全性及灵活性的问题，而通过本发明的数据清洗与转换算法方式，在解决以上问题的基础上，同时具备：1.便于直接管理元数据；2.实时同步，高效便捷。

基于此，针对上述现状中存在的局限性，本发明提出了一种使得数据能够高效融合、降低同步时间、提高时效性的面向TAS系统的实时数据清洗与转换方法。

发明内容

为了解决上述现有技术中电力行业对数据实时同步及数据有效性、安全性等更高要求的场合问题，本发明提出了一种使得数据能够高效融合、降低同步时间、提高时效性的面向TAS系统的实时数据清洗与转换方法。

本发明解决其技术问题所采用的技术方案是：

一种面向TAS系统的实时数据清洗与转换方法，将TAS系统数据的数据源融合，获取待清洗的数据，对待清洗的数据进行处理，以获取干净数据，将干净数据存入融合数据库中，从而实现多个系统间的数据共享以实现实时数据清洗与转换，具体步骤包括：

步骤1、通过ETL系统将部署在不同服务器、数据库的数据以及非结构化的数据根据指定的规则进行抽取，将抽取的数据存储到中间层ODS；

步骤2、通过设计目标或清洗提交或规范化提交的方式将ODS的数据进行层层过滤，得到干净的数据；

步骤3：将干净的数据根据设计的业务规则插入或更新到融合数据库中。

进一步地，所述步骤1具体为：

101、在ETL系统设置抓取数据服务模块，抓取数据服务模块根据配置文件信息，获取不同服务器的IP地址，然后连接至各个服务器中的应用；

102、根据指定的规则从各个服务器中抽取数据，将抽取的数据存储到中间层ODS。

进一步地，所述步骤1中的数据来源包括ODBC数据库结构化数据源、平面文件、XML数据源以及日志。

进一步地，所述步骤2中过滤的方式为通过服务器中的应用获取设备目前状态，若该设备为运行态，则抓取相应数据，相反，若该设备为停用、拆除等状态，则丢弃数据，不进入融合数据库。

更进一步地，丢弃的数据为不完整的数据、错误的数据和重复的数据，所述错误的数据在丢弃后进行修复，修复后再抽取。

进一步地，所述步骤3中插入或更新的具体过程为：