[发明专利]基于大量业务数据场景的数据拆分方法、装置和存储介质

说明书

本发明公开了一种基于大量业务数据场景的数据拆分方法、装置和存储介质。一种基于大量业务数据场景的数据拆分方法包括：对与用户相关的数据表进行分库分表处理，其中，分库分表使用的分片键根据用户唯一标识确定；将分库分表处理后的多张数据表按照分库分表结果存储于至少一个数据库中。本发明公开了的基于大量业务数据场景的数据拆分方法、装置和存储介质，解决了大量数据业务存储时数据库的压力过大导致的访问瓶颈。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种基于大量业务数据场景的数据拆分方法、装置和存储介质。

背景技术

传统数据存储方式是将数据集中存储至单一数据节点中，即单表存储。然后在数据量增加到一定量的时候，通过添加索引、改写SQL等方式进行优化。随着互联网的发展和用户规模的迅速扩大,对系统的要求也越来越高。当表数据量达到千万级别以上，且还有不断增长的趋势，同时系统的并发访问量达到一定的规模的时候，业务的增删改查操作，会使得数据库的平均响应时间过长。

传统的优化方式虽然能在一定程度上改善系统性能，缓解数据量和访问量带来的问题，但依然面临服务器CPU、磁盘IO和内存的各种瓶颈问题。此时索引的维护成本很高，数据备份和恢复时间、成本和风险也将随着数据量的增大而变得不可控。

发明内容

本发明提供一种基于大量业务数据场景的数据拆分方法、装置和存储介质，解决了大量数据业务存储时数据库的压力过大导致的访问瓶颈。

第一方面，本发明实施例提供了一种基于大量业务数据场景的数据拆分方法，包括：

对与用户相关的数据表进行分库分表处理，其中，分库分表使用的分片键根据用户唯一标识确定；

将分库分表处理后的多张数据表按照分库分表结果存储于至少一个数据库中。

第二方面，本发明实施例还提供了一种基于大量业务数据场景的数据拆分装置，包括：

分表模块，用于对与用户相关的数据表进行分库分表处理，其中，分库分表使用的分片键根据用户唯一标识确定；

存储模块，用于将分库分表处理后的多张数据表按照分库分表结果存储于至少一个数据库中。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的基于大量业务数据场景的数据拆分方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如第一方面的基于大量业务数据场景的数据拆分方法。

本发明实施例提供的基于大量业务数据场景的数据拆分方法、装置和存储介质，对与用户相关的数据表进行分库分表处理，其中，分库分表使用的分片键根据用户唯一标识确定，然后将分库分表处理后的多张数据表按照分库分表结果存储于至少一个数据库中，解决了大量数据业务存储时数据库的压力过大导致的访问瓶颈。

附图说明

图1展示了根据业务需要，将用户表和订单表垂直分片到不同的数据库的方案；

图2展示了根据主键奇偶值，将用户表和订单表水平分片到不同的数据库的方案；

图3为本发明实施例提供的一种基于大量业务数据场景的数据拆分方法的流程图；

图4为本发明实施例提供的一种基于大量业务数据场景的数据拆分装置的结构示意图；

图5为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式