[发明专利]一种数据存储方法及装置

说明书

本发明公开了一种数据存储方法，以分表的形式存储数据，所述方法还包括：检测当前分表所写入的数据量；判断所述当前分表所写入的数据量是否超出分表阈值；当所述当前分表所写入的数据量超出分表阈值时，生成新的分表，并将待写入的数据写入所述新的分表中。本发明还同时公开了一种数据存储装置。采用本发明的技术方案，解决了现有技术中当进行大数据量存储时数据库系统的持久化写入性能下降的问题，进而也提升了数据库系统的统计查询性能。

技术领域

本发明涉及数据库系统领域，尤其涉及一种数据存储方法及装置。

背景技术

随着大量移动终端用户进行空中固件升级(FOTA，Firmware Over The Air)升级，FOTA系统产生的数据也随之大量生产，并持久化存储到数据库(如MongoDB数据库)中，当数据库的单表写入的数据量达到千万级别时，持久化写入的性能急剧下降，从而严重影响FOTA系统在大用户量下的持续运行的稳定性，同时，查询相应升级数据耗时也随之急剧上升，严重影响升级数据的统计查询功能。

发明内容

有鉴于此，本发明的主要目的在于提供一种数据存储方法及装置，能解决现有技术中当进行大数据量存储时数据库系统的持久化写入性能下降的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种数据存储方法，以分表的形式存储数据，所述方法还包括：

检测当前分表所写入的数据量；

判断所述当前分表所写入的数据量是否超出分表阈值；

当所述当前分表所写入的数据量超出分表阈值时，生成新的分表，并将待写入的数据写入所述新的分表中。

上述方案中，优选地，所述生成新的分表，包括：

生成新的分表的表名；

更新分表索引表中的关于所述当前分表的索引记录，并初步生成关于所述新的分表的索引记录；

其中，在分表索引表结构中，至少包含下述信息：

当前分表表名、开始写入时间、结束写入时间、当前分表数据量、前一分表表名、生成时间。

上述方案中，优选地，所述检测当前分表所写入的数据量之前，所述方法还包括：

进行初始化操作。

上述方案中，优选地，所述进行初始化操作，包括：

动态配置分表阈值；

查找是否存在分表索引表；

如果不存在，创建分表索引表；

如果存在，在分表索引表中查找是否有满足预设条件的索引记录；

当有满足预设条件的第一索引记录时，获取第一索引记录中的当前分表表名、开始写入时间、结束写入时间和前一分表表名，并分别设置到当前分表表名变量、当前分表开始写入时间变量、当前分表结束写入时间变量和前一分表表名变量中；查找是否有当前分表表名为前一分表表名的第二索引记录，如果有，获取第二索引记录的开始写入时间和结束写入时间，并设置到前一分表开始写入时间变量和前一分表结束写入时间变量中，触发写数据监测操作，如果没有，触发写数据监测操作；

当没有满足预设条件的第一索引记录时，生成新的分表的表名；查找是否有生成时间离当前时点最近的第三索引记录，如果有，获取第三索引记录中的开始写入时间和结束写入时间，并设置到前一分表开始写入时间变量和前一分表结束写入时间变量中，将所述当前分表表名设置为新生成的索引记录的前一分表表名，触发写数据监测操作；如果没有，触发写数据监测操作。

上述方案中，优选地，所述创建分表索引表，包括：