[发明专利]主内存数据中心数据处理方法

说明书

技术领域

本发明涉及计算机内存数据中心的数据处理方法，尤其是电信级后台计费帐务大数据量处理方法，特别是主内存数据中心的数据处理方法及构成组件的技术。

背景技术

主内存数据中心(MAIN MEMORY DATA CENTER，简称MMDC)组件，是由通用主流数据库(Oracle，MS SQL Server，DB2，MySQL，Sybase，Informix)访问接口平台(UDBIFRAMEWORK)和主内存数据中心组成，类似于内存数据库，但它又有别于内存数据库。

访问接口平台UDBI FRAMEWORK：是对主流数据库接口的统一抽象封装，形成统一的调用接口，接口执行的数据库查询语言SQL，通过配置文件配置无需编写复杂的接口调用，同时还有缓存作用。对配置的SQL还有热部署(更新，回退)功能。

MMDC是一个存储数据的中心，分为LOCAL MEMORY(本地内存)，SHARED MEMORY(共享内存)，FILE MAP(文件映射存储)。MMDC由一个或多个DATASET数据容器组成，相应的DATASET也有3种类型：LOCAL，SHARED，FILEMAP。DATASET类似于数据库中的TABLE，可以对任意列和列的组合，建立查找索引。

现有技术中，MMDC组件是JAVA或C/C++等语言实现的。相比较，C/C++语言在执行效率上有很大的优势，但也有一些弊端：

●UDBI FRAMEWORK

1)目前市场上关系数据库种类繁多，而且访问的接口各不相同，如果要建立一个统一的访问方式，必须要抽象一个统一的访问接口平台。

2)处理返回的数据集(resultset)。由于C/C++语言本身的局限性(不支持反射等)，所以不能生成对象直接返回结果集。

3)实际应用中由于需求的变化，和存取数据的要求会对数据库执行SQL修改或者新增，而对于OLTP系统(联机事务处理系统/面向交易的处理系统)通常是7*24小时不间断运行的，不可能频繁启停系统，所以要有一种机制保证能热部署(不启停系统的情况下更新系统)。

MMDC在结构上还有下述要求：

1)DATASET，数据的存储组件，类似于数据库中的表，需要能够支持动态创建表结构，增加表字段。

2)数据共享方式(LOCAL，SHARED，FILEMAP)。

3)内存使用，C++对象使用内存通常是通过关键字NEW方式创建的，而这种方式如果对于大数据量的创建销毁对象可能会产生内存碎片，影响内存的使用效率。

4)存取方式，对应大数据量访问不支持列索引。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种主内存数据中心(MMDC)的数据处理方法及组件。

具体技术方案是：一种主内存数据中心(MMDC)的数据处理方法：采用统一数据库访问接口即UDBI组件是对主流数据库接口统一抽象封装：当系统第一次执行SQL的时候，UDBI会缓存SQL文本及其版本号，如果需要修改，增加SQL，通过PATCH机制更新对应的SQL版本；SQL执行返回的数据集由数据中心单元DATASET组件接受数据；由一个或多个DataSet(数据容器)和保存dataset的结构信息MMDC head组成的MMDC；DATASET的模式有单个进程中使用LOCAL模式：或可以进程间共享的SHARE模式：根据容器数据地址hash值，B*树和B+树索引：建立索引和删除索引：

bool dropIndex(const char *name)；

DATA CENTER备份，恢复：

由于MMDC HEAD保存了数据中心的数据字典，并且该字典信息是共享的，而且是可以序列化的，通过该信息就可以执行备份和恢复；具体方法是UNIX下通过SH脚本发送消息，MMDC通过执行Dump()，Recover()来执行，程序意外退出后，恢复在下次启动时进行。

DataSet可以通过如下方式建立：通过定义域的存放数据、删除数据、插入数据的命令建立；每次插入数据的时候，根据目前DATASET的容量判断是否已经超过已经分配的内存，如果已经超过，就再分配一块连续的内存，块的大小在构建DATASET的时候指定(默认为4k)，根据数据量的多少合理指定分配块的大小可以提高内存分配效率。

根据容器数据地址hash值，B*树和B+树索引：建立索引和删除索引：