[发明专利]一种水电数据库自动建表分表的方法

说明书

本发明公开了一种利用虚拟数据库技术实现水电数据库自动建表分表的方法。本方法基于标准的数据库底层通讯协议构建虚拟逻辑数据库，通过拦截数据库会话的存取数据请求，对sql语句进行过滤、分类、辨别和解析，实现数据库子表自动创建和数据水平切分，保证水电数据库单表数据可以按照点号、时间以及其它属性进行均匀分布。本发明的方法极大地提高了大数据单表的读写速度，简化了业务系统的数据访问逻辑，而且成本低廉。该方法可以根据现场的工程环境按照指定的表字段定制各种策略的分表算法，动态地将业务系统的单表请求自动转换成多表请求，避免数据库单表数据过大带来的性能下降。

技术领域

本发明涉及用于水利和发电专业大数据存储等科学研究中的大规模测量数据存储和访问，尤其涉及一种水电数据库自动建表分表的方法。

背景技术

如今随着智能化水电厂的发展，数据的量级也是呈指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。而水电业务的使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库。

目前水电系统所使用的商用数据库或者开源数据库一般都不支持大规模自动建表扩展，单表上面存在着性能瓶颈。一般的数据库单表超过1000W～2000W条记录时，性能就会有比较明显的下降。为了提升性能以及可以存储数据的量，需要针对工程特点、水电各专业特点等进行分表。

对于数据量很大的表（千万级以上），关系型数据库性能会有很大下降，因此尽量控制在每张表的大小在百万级别。对于数据量很大的一张表，可以考虑将这些记录按照一定的规则通过分片放到不同的数据表里面。这样每个数据表的数据量不是太大，性能也不会有太大损失。

数据库分片指：通过某种特定的条件，将存放在一个数据库表中的数据分散存放在不同的多个数据表中，这样来达到分散单表的容积，当数据库表分片后，数据由一个数据表分散到多个数据表中。此时系统要查询时需要切换不同的数据表进行查询，那么系统如何知道要查询的数据在哪个数据表中，当添加一条记录时要向哪个数据表中插入呢。

发明内容

本发明的目的是展示利用虚拟数据库技术实现一个低成本高效率可以无限扩展的水电行业自动建表分表的方法。虚拟数据库技术就是构建一个逻辑数据库，它利用标准的数据库通讯协议对外提供无差别的数据库访问服务。所有的水电业务组件和模块的数据访问层统一访问逻辑库，由这个虚拟逻辑库去统一管理数据子表的访问和路由。

该方法能够根据水电业务提交的各种数据库请求进行解析，精确为所有请求路由至不同的子表进行真实数据库访问，对访问的结果按照请求类型进行合并和排序反馈回水电业务端，水电业务端完全不需了解底层数据库的细节。

本发明的技术方案：

一种水电数据库自动建表分表的方法，包括以下步骤：

1) 虚拟数据库前端按照mysql数据库标准底层通讯协议建立数据库服务侦听，后端按照真实的数据库连接信息、用户名和密码建立物理数据库连接线程池，水电业务系统按照真实的mysql的链接信息连接到虚拟数据库；

2) 水电业务系统的数据访问层向虚拟数据库提交sql请求，虚拟数据库侦听到sql请求语句，将sql请求语句进行解析，比对预设的分表表名和分表算法，查看该条sql请求语句是否需要进行分表处理；如果该条语句无需进行分表处理，直接将该请求提交至后端物理数据库；

3) 对于需要进行分表处理的sql请求语句，解析语句查询条件，根据预设的分表算法计算出该条语句涉及的子表名称，按语句类型、排序和分组进行类别归类；

4) 根据子表名称查询子表缓存，查看子表在物理数据库是否存在，如果不存在，在物理数据库创建相应的子表，如果存在该子表，表示该子表已经被创建，则进入步骤5），对该子表进行请求提交；