[发明专利]一种数据处理方法以及装置

说明书

技术领域

本发明涉及数据库技术领域，尤其涉及到一种数据处理方法以及装置。

背景技术

在飞速发展的互联网行业，随着商业应用数据库事务量的大幅增长和数据库体积的增大，数据库拆分的概念也日益普及。同样在数ZB(Zettabyte)级的对象云存储系统中，如何在线拆分日益增大的元数据也迫在眉睫。一般来说看，数据库拆分大致可以分为以下2种：1、把一个数据库拆分为多个数据库，分布在不同的资源单位中；2、把一张数据表拆分为多张数据表，分布在不同的服务单元中。其中，数据库包含多个数据表。

由于关系型数据库的性能和扩展性，现在主流选择关系型数据库的还是主/从模式，即使用一个主服务器处理所有的写(创建、更新或删除)操作，同时使用一个或多个从服务器处理只读操作。主服务器使用标准的、近似实时的复制功能将数据复制到各个从服务器。当某个数据库逐渐变大，极大影响主服务器写操作时，现有技术中主要有两种方式把该数据库拆分为多个小数据库，以提升性能。第一种是停止读写拆分方式，即停止主服务器的写操作，等待从服务器同步完成后，禁止主服务器和从服务器的读操作，把离线的数据处理到新的数据库服务器组上，再将读写切换到新的服务器组上。第二种是停止写拆分方式，即停止主服务器的写操作，从服务器依然提供可读服务，把离线的数据处理到新的数据库服务器组上，再将读写切换到新的服务器组上。

即在现有技术中，在对数据进行拆分的时候，需要停止对主服务器的写操作，就是俗称的停机维护，在很大程度上影响正常业务的读写。

发明内容

本发明实施例提供了一种数据处理方法以及装置，用于在对数据进行拆分的时候，不需要停止主库的写操作，减少对正常业务读写的影响。

有鉴于此，本发明第一方面提供了一种数据处理方法，包括：

确定待拆分数据表；

将所述待拆分数据表拆分为至少2个新数据表，所述待拆分数据表保持可读写；

在预置时间点对所述待拆分数据表写入数据过程中，将所述待拆分数据表中所述预置时间点前的数据处理至经过所述拆分后得到的新数据表中；

将所述预置时间点后的数据同步至经过所述拆分后得到的新数据表中。

在一种可能的实现中，所述将所述预置时间点后的数据同步至经过所述拆分后得到的新数据表中，包括：

获取所述预置时间点后的数据写入日志；

解析所述数据写入日志获得所述预置时间点后的数据；

将所述预置时间点后的数据同步至经过所述拆分后得到的新数据表中。

在一种可能的实现中，所述解析的速度快于所述预置时间点后的数据写入日志的写入速度。

在一种可能的实现中，将所述预置时间点后的数据同步至经过所述拆分后得到的新数据表中之后，所述方法还包括：

将对所述待拆分数据表的数据读写切换至经过所述拆分后得到的新数据表中。

在一种可能的实现中，将所述待拆分数据表的数据读写切换至经过所述拆分后得到的新数据表中，包括：

通过代理(Proxy)服务器将对所述待拆分数据表的数据读写切换至经过所述拆分后得到的新数据表中。

本发明第二方面提供了一种数据处理装置，其特征在于，包括：

确定模块，用于确定待拆分数据表；

拆分模块，用于将所述确定模块确定的所述待拆分数据表拆分为至少2个新数据表；

处理模块，用于在对所述确定模块确定的所述待拆分数据表写入数据过程中，将预置时间点前的数据处理至经过所述拆分后得到的新数据表中；

同步模块，用于将所述预置时间点后的数据同步至经过所述拆分后得到的新数据表中。

在一种可能的实现中，所述同步模块包括：

获取单元，用于获取所述预置时间点后的数据写入日志；

解析单元，用于解析所述获取单元获取的所述数据写入日志获得所述预置时间点后的数据；

同步单元，将所述解析单元解析得到的所述预置时间点后的数据同步至经过所述拆分后得到的新数据表中。

在一种可能的实现中，所述解析的速度快于所述预置时间点后的数据写入日志的写入速度。

在一种可能的实现中，所述装置还包括：

切换模块，用于对将所述预置时间点后的数据同步经过所述拆分后得到的新数据表中之后，将所述待拆分数据表的数据读写切换经过所述拆分后得到的新数据表中。

在一种可能的实现中，所述切换模块具体用于：