[发明专利]基于数据库的数据文件更新方法和装置

说明书

本发明实施例公开了一种基于数据库的数据文件更新方法和装置，该方法包括在内存中的键值数据持久化至存储空间生成数据文件时，若参数K的值小于参数N，则循环执行以下方法：获取第K层数据文件中至少一个数据列表的长度和第K层数据文件中的键值数据的数目；基于至少一个数据列表的长度和键值数据的数目，将第K层数据文件与第K+1层数据文件进行合并排序，以更新第K+1层数据文件。本发明实施例解决了现有技术中在出现主备宕机而使用持久化数据进行恢复时容易导致数据丢失的问题。

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种基于数据库的数据文件更新方法和装置。

背景技术

由于电信系统结构复杂且具备高可用性以及实时性，因此，对于电信系统结构的性能要求非常高。如果在业务受理、核心计费、月结出账等方面，频繁出现数据库等待情况，则必将给客户带来损失，最终导致客户流失。特别是在业务的高峰期，并发量比较大时，这些问题显得尤为突出，损失也会更为庞大。因此，需要采用分布式数据网格方案以提升电信系统结构的性能。

Coherence是一个适用于集群化应用程序和应用服务器的内存中分布式数据网格解决方案。通过Oracle Coherence在可预测情况下扩展关键任务应用程序，提供对经常使用的数据进行快速、可靠的访问。Coherence将数据推送到更接近应用程序的地方，以提供更快的访问和更大的资源利用率。通过自动、动态地对位于多台服务器上的内存中数据进行分区，实现持续的数据可用性和事务完整性。Coherence是一个共享基础架构，其将数据局部性与本地处理功能相结合，可执行实时数据分析、内存中网格计算、以及并行事务和事件的处理。

由于数据从物理存储转移到内存中，以提升访问速度，因此，对数据的高可用提出了更高的要求，虽然在Coherence中考虑了数据冗余，但如出现主备同时宕机的情况，只能寄希望于已持久化的数据，而加大冗余份数，以减少主备同时宕机的几率，又必须要加大一倍设备投入，因此，数据的持久化尤为重要。目前，Coherence主要采用两种方式进行数据持久化：第一，直读直写方案，即所有数据读取/写入都通过缓存，缓存内没有数据时自动从持久化加载，更新缓存并同步持久化；第二，后写入方案，即所有数据写入操作都通过缓存，更新缓存并异步方式写入关系型数据库。

数据持久化采用同步方式，虽然有利于提升数据一致性，但是对性能影响较大，因此往往选择异步方式。而后写入方案持久化写入数据源为写入关系型数据库，对于硬件IO要求较高，同时对性能有一定损耗，在出现主备宕机，使用持久化数据进行恢复时，会存在丢失数据的风险。

发明内容

本发明实施例提供一种基于数据库的数据文件更新方法和装置，以解决现有技术中在出现主备宕机而使用持久化数据进行恢复时容易导致数据丢失的问题。

为解决上述技术问题，本发明是这样实现的：

第一方面，提供一种基于数据库的数据文件更新方法，包括：

在内存中的键值数据持久化至存储空间生成N层数据文件时，若参数K的值小于参数N，则循环执行以下方法：

获取第K层数据文件中至少一个数据列表的长度m和所述第K层数据文件中的键值数据的数目；

基于所述至少一个数据列表的长度和所述键值数据的数目，将所述第K层数据文件与第K+1层数据文件进行合并排序，以更新所述第K+1层数据文件；

其中，K为整数，初始值为0，N为所述数据文件的层级数量，N0，第0层数据文件为访问的最底层数据文件。

第二方面，提供一种基于数据库的数据文件更新装置，包括：

获取单元，用于在内存中的键值数据持久化至存储空间生成数据文件时，若参数K的值小于参数N，则获取第K层数据文件中至少一个数据列表的长度和所述第K层数据文件中的键值数据的数目；