[发明专利]一种基于模板对异构污染源集成数据的解析方法

说明书

技术领域

本发明属于异构污染源集成数据处理技术领域，涉及一种基于模板对异构污染源集成数据的解析方法。

背景技术

污染源在线自动监控(监测)系统由自动监控监测仪器设备和监控中心组成，一个监测中心下有许多个监测点，监控中心与监测点的关系为上位机与现场机的关系。污染源在线自动监控(监测)系统中，需要采集多种污染源，多种设备采集的数据。因此，需要对异构污染源数据进行集成，采用统一的数据传输格式进行表示然后传输。集成数据被采集后，系统对数据按照用户的需求进行解析，按照污染源的类型，数据的类别等进行分类保存。

异构污染源数据集成使用数据采集仪进行完成，集成数据使用的是污染源在线自动监控(监测)系统数据传输标准(HJ/T212-2005)。即在监控点，数据采集仪从现场机(各种检测设备)抽取需要的数据，集成转化为HJ/T212-2005标准的数据，然后传输到监控中心，监控中心将采集的数据进行解析存储以及相关的统计。

污染源在线自动监控(监测)系统数据传输标准(HJ/T212-2005)是我国颁布的污染源在线自动监控(监测)系统用于异构数据源数据集成传输的标准，规定了数据通讯的数据结构。

数据结构由包头，数据段长度，数据段，CRC校验，包尾组成。其中数据段用于数据和命令的传输。数据段由请求编号(QN)，总包号(PNUM)，包号(PNO)，系统编号(ST)，命令编号(CN)，访问密码(PW)，设备唯一标识(MN)，是否拆分包及应答标记(Flag)和指令参数(CP)组成。在数据传输中，主要的数据和指令在指令参数(CP)中。其中ST，CN能够用于对数据的类别划分。如ST＝32；CN＝2011表示采集的是地表水污染源的实时数据。在通讯数据中的字段与其值用“＝”连接。在数据段中，同一个项目的数据不同分类值间用“，”分隔，不同项目数据间用“；”。

数据传输标准(HJ/T212-2005)对数据类型，属性字段名称，字段值做了具体规定；对污染物，命令等做了编码。在采集的数据中，有的项目数据中的属性字段对整个数据段起作用，如数据段中CP包含的属性字段DataTime，表示的是数据采集的时间，因此定义为全局属性字段。有的项目数据中属性字段只在本项目内起作用，如CP包含的属性字段Rtd，描述的是某一种元素的实时测量数据，作用范围是每一个项目数据内部，定义为局部属性字段。

由于需要根据用户的需求对数据进行解析分类，而用户的需求具有多样性和可变性的特点，即不同的用户关注不同的数据，具有不同的需求，同时，用户的需求随着时间，具有的情况进行变化和拓展。因此，对异构污染源集成数据的解析需要适应用户需求多样性和可变性的特点，要求方法具有较强的通用性，即当用户需求发生变化时，数据解析方法不能变化。

发明内容

本发明解决的问题在于提供一种基于模板对异构污染源集成数据的解析方法，根据模板对数据进行解析，用户需求变时，只需要添加或修改模板，，从而使方法具有很强的自适应性，通用性和拓展性。

本发明是通过以下技术方案来实现：

一种基于模板对异构污染源集成数据的解析方法，包括以下步骤：

1)根据用户的需求，在异构污染源集成数据处理器中进行以下构建：

构建用户表，每个用户表包含多个域，每个域存储异构污染源集成数据中一个属性字段的值；

构建包含多个属性映射的模板，模板记录异构污染源集成数据中的属性字段与对应的用户表中的域的映射关系，一个属性字段与用户表中的域的对应关系成为一个属性映射；

构建模板表，模板表是模板的集合，保存每个用户表唯一对应的模板；

构建数据映射表，数据映射表保存异构污染源集成数据与将要被保存到的用户表的映射关系，以及用户表和模板的唯一映射，数据映射表中的主键值索引为集成数据中选定的主属性字段的值；

2)在数据进行解析时，首先从待解析的异构污染源集成数据中读取主属性字段的值生成数据映射表中的主键值索引，然后根据主键值索引查找数据映射表保存的异构污染源集成数据所对应的模板的集合，以及对应的将被保存的用户表，再根据模板对异构污染源集成数据进行解析，从异构污染源集成数据中获取对应属性字段的值，待数据解析完成后，将解析好的数据存储到对应的用户表中或将数据进行显示。

所述的模板中，一个属性映射由四元组组成，分别为属性字段名，对应的用户表中的域名，属性字段的作用域以及属性字段值的数据类型。