[发明专利]一种通用可配置的标准局数据入库方法

说明书

技术领域

本发明涉及数据处理领域，具体地说是一种通用可配置的标准局数据入库方法。

背景技术

标准局数据是局数据系统最关键的核心数据，是局数据核查、制作的基础数据之一，在使用(局数据核查、制作)之前需要先把标准局数据导入到数据库中。

标准局数据是由集团公司或者省公司以EXCEL文件形式不定期下发，包括汇总数据、批复数据及省内标准数据三大类数据，每类数据又包含多种不同格式的数据，如BOSS账号用户号段、智能网账号用户号段、GSM国际漫游数据、GPRS国漫数据、短号码数据、端局关口局、TMSC、HLR、LSTPHSTP、SCP、SGSN设备数据等。这些数据每次下发的文件格式(文件名称、EXCEL表头名称、EXCEL表头所在行)、数据格式并不固定，文件中还可能会存在一些错误数据、重复数据。

现在使用的标准局数据分析入库方式是读取出EXCEL的表头行，通过遍历局数据系统标准局数据入库功能中所有支持导入的表头，匹配成功后，即确定了要导入的EXCEL数据类型，然后进入不同类型数据(用户数据、设备数据等)的分支代码处理，对EXCEL中每个单元格的数据进行处理，最终形成可入库的数据导入到数据库中。

上述标准局数据分析入库处理的方法存在以下缺点：

1)确定EXCEL数据类型的效率不高

即需要遍历局数据系统标准局数据入库功能中所有支持入库的表头与用户选定要入库的EXCEL表头进行匹配确定出数据类型。

2)数据处理的灵活性差、维护工作量较大

需要针对不同类型的标准局数据编写处理代码，对于新增数据还需要对程序作调整。

发明内容

本发明的技术任务是针对上述现有技术的不足，提供一种通用可配置的标准局数据入库方法。

本发明的技术任务是按以下方式实现的：一种通用可配置的标准局数据入库方法，其特征在于，

1)设两类标准局数据导入配置文件(均可采用XML格式)：

a、文件名关键信息与数据类型对应关系配置，命名为STDATA_Type.xml，包括采用正则表达式描述的文件名关键信息(如：移动/d{3}用户.*汇总表|移动/d{3}用户.*批复表)、数据类型标识(如：用户号码)及入库处理公共数据；

虽然每次下发的标准局数据文件名并不固定，但描述数据类型的关键信息还是存在的，所以在配置文件中采用正则表达式来描述文件名规则，文件中一个节点描述一种数据类型；

b、某类数据入库分析配置，包括数据库表名、数据库表字段、字段数据类型、是否是关键字、EXCEL表头、处理规则；

2)通过处理规则或处理规则的组合，对单元格数据进行处理，处理规则均采用正则表达式进行匹配；

所述处理规则为替换、拆分用户号码、拆分数字、拆分、提取、格式判断、为空忽略。

本发明的通用可配置的标准局数据入库方法与现有技术相比具有以下突出的有益效果：

1)在标准局数据导入流程中，汇总分析了标准局数据文件格式，提供了两类配置文件结构，提高了数据类型确定效率，实现了通用的标准局数据入库。

2)在标准局数据导入流程中，汇总分析了数据格式、用户导入需求，抽象提取出了7种数据处理规则，实现了可配置的标准局数据入库方法。

3)可适应不同的入库服务接口。若采用TUXEDO中间件进行入库处理，则可在入库配置文件中配置服务名、TUXEDO字段值；若采用WEBSERVICE服务、MQ(消息队列)进行入库处理，则可在入库配置文件中配置数据库表名、数据库表字段，然后调用统一入库功能函数即可。

4)减低处理新增数据需求的工作量，不需要具有编程能力的技术人员修改代码，仅作配置即可。

5)对数据处理的适应性好，配置中采用正则表达式，可以匹配处理复杂的模式，通用性、扩展性强。

6)本发明解决EXCEL文件的列与数据表字段的灵活对应，可以作为所有数据源为EXCEL文件的数据分析入库方式。

附图说明

附图1是本发明通用可配置的标准局数据入库方法实现流程图。

具体实施方式

参照说明书附图以具体实施例对本发明的通用可配置的标准局数据入库方法作以下详细地说明。

实施例一

本发明的通用可配置的标准局数据入库方法主要实现包括以下内容：

1)标准局数据导入配置文件总体分为两类，均采用XML格式：