[发明专利]一种电力行业大数据动态文本交换格式管理方法

权利要求书

1.一种电力行业大数据动态文本交换格式管理方法，其特征在于：该方法包括以下步骤，

步骤1：分析数据结构，分析需要用于数据交换的电力行业数据进行数据结构分析，生成数据模型；

       步骤2：编写数据格式规则，通过Velocity语法编写符合实际需求的定义的灵活的数据传输交换格式，并生成数据格式交换模板；

       步骤3：编写加载类，利用Java语言编写数据模型加载类以及数据格式规则加载类两个类；

步骤4：利用Java语言并采用Velocity模板引擎编写数据驱动类，将步骤3中的两个加载类的输出结果作为数据驱动类的输入，通过驱动类生成最终的动态文本交换格式。

2.根据权利要求1所述的电力行业大数据动态文本交换格式管理方法，其特征在于：

       所述步骤1包括以下子步骤：

       S1.1：从电力营销系统、计量自动化系统、电网GIS空间信息服务平台等抽取文本类型的数据到电网行业Hadoop大数据平台的HDFS文件系统上；

       S1.2：分析抽取到Hadoop大数据处理平台上的文本数据，通过将原有的数据结构进行精简适合于数据挖掘的简单结构保存于hive数据仓库之中；

       S1.3：通过编写MapReduce、Spark任务、Storm流处理任务等手段操作hive数据仓库生成数据模型，并将输出结果以hdfs上带有特定特定列式结构的数据模型；

S1.4：通过编写MapReduce、Spark任务、Storm流处理任务等手段操作hive数据仓库生成数据模型，并将输出结果以hdfs上带有特定列式结构的数据模型。

3.根据权利要求1所述电力行业大数据动态文本交换格式管理方法，其特征在于：

所述步骤2包括以下子步骤：

       S2.1：根据步骤1的数据模型，编写数据格式模板，该模板包含最终数据交换格式的基本格式；

       S2.2：将步骤S2.1中数据格式模板的基本模板中需要用数据填充的部分使用Velocity语法用占位符号进行修改，形成带有基本数据结构的格式模板；

       S2.3：将步骤S2.2中的编写的模板进一步修改，将带有数据集合的模板区块使用Velocity条件控制、循环语法进行控制输出，形成数据格式模板；

       S2.4：将步骤S2.3中的编写的模板首行之前增加额外一行头信息，该部分按顺序用“，”号分割，包含如下顺序的信息；

数据模型文件hdfs地址；

数据模型加载类名称全路径；

数据格式规则加载类全路径；

S2.5：将步骤S2.4中的编写的模板保存在hdfs上。

4.根据权利要求3所述电力行业大数据动态文本交换格式管理方法，其特征在于：步骤S2.1中数据交换格式根据使用者对数据交换格式的实际需求，将数据交换格式定义为xml、json、csv等行业标准格式或定义成非标准格式。

5.根据权利要求1所述电力行业大数据动态文本交换格式管理方法，其特征在于：

所述步骤3利用Java语言编写数据模型加载类以及数据格式规则加载类两个类，包括以下子步骤：

        S3.1：编写数据模型加载类，该类包含的功能特征是：

        1）读取hdfs文件系统上的数据模型文件；

        2）遍历数据模型列式结构；

        3）生成用于填充数据规则模板的Java数据对象模型；

        S3.2：数据格式规则加载类，该类包含的功能特征是：

        1）读取hdfs数据格式规则模板文件；

        2）解析数据格式规则模板，将头信息以及数据格式信息分离；

        3）生成头信息Java对象；

4）生成数据格式模板的Java映射对象。

6.根据权利要求1所述电力行业大数据动态文本交换格式管理方法，其特征在于：

所述步骤4包括以下子步骤：

        S4.1：根据步骤3的输出的Java数据对象、头信息Java对象、数据格式模板Java映射对象做为数据驱动类的输入参数传入数据驱动类；

        S4.2：根据步骤S4.1数据驱动类将组合并整理以上输入参数形成统一的Java数据对象模型以及模板文件描述对象；

        S4.3：数据驱动类调用Velocity模板引擎的相应模板生成方法，生成最终符合需求的数据结构文本；

S4.4：数据驱动类输出的结果可以根据需求放置于hdfs、数据库、本地文件系统上，也可以作为输入源直接输出至下一个MapReduce任务、Spark任务、Storm流任务中去。