[发明专利]业务数据处理方法、系统、服务器和可读存储介质

说明书

本申请涉及一种业务数据处理方法、系统、服务器和可读存储介质。方法包括：索引服务器获取原始增量业务数据，并对原始增量业务数据进行数据分片，得到增量分片业务数据；索引服务器对增量分片业务数据进行处理，得到具有预设数据结构的增量业务数据，并将增量业务数据存储在分布式文件系统HDFS中；索引服务器基于增量业务数据更新目标服务器中的数据版本信息，并发送数据版本更新通知至目标服务器；目标服务器根据更新的数据版本信息，从HDFS拉取更新的数据版本信息对应的增量业务数据，并将增量业务数据加载至内存以供客户端访问。采用本方法能够提升业务数据处理系统的自动化能力、可扩展性以及降低内存资源浪费。

技术领域

本申请涉及计算机技术领域，特别是涉及一种业务数据处理方法、系统、服务器和可读存储介质。

背景技术

随着业务的不断发展，业务数据处理系统需要处理的业务数据也越来越多。现有的业务数据处理系统中，离线数据源的业务数据需要人工导入到Redis(RemoteDictionary server，远程字典服务)等存储引擎中才能提供线上服务。

以Redis为例，Redis是基于内存的内存数据库，Redis的数据集中存储在内存中，为避免突然宕机导致的数据丢失，RDB(Redis DataBase，Redis默认的持久化方式)会周期性地把数据复制一份到内存，然后对复制的数据进行持久化。

然而，上述业务数据处理系统的自动化能力有待提高，且内存数据库的可扩展性较差，而Redis存储引擎的持久化还会导致内存资源的浪费，不利于业务数据处理系统提供稳定的线上服务。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提升业务数据处理系统的自动化能力、可扩展性以及降低内存资源浪费的业务数据处理方法、系统、服务器和可读存储介质。

第一方面，提供了一种业务数据处理方法，应用于业务数据处理系统，所述业务数据处理系统包括索引服务器和多个业务服务器，所述方法包括：

所述索引服务器获取原始增量业务数据，并对所述原始增量业务数据进行数据分片，得到增量分片业务数据；

所述索引服务器对所述增量分片业务数据进行处理，得到具有预设数据结构的增量业务数据，并将所述增量业务数据存储在分布式文件系统HDFS中；

所述索引服务器基于所述增量业务数据更新目标服务器中的数据版本信息，并发送数据版本更新通知至所述目标服务器，所述目标服务器为所述多个业务服务器中的一个业务服务器；

所述目标服务器根据更新的数据版本信息，从所述HDFS拉取所述更新的数据版本信息对应的所述增量业务数据，并将所述增量业务数据加载至内存以供客户端访问。

在其中一个实施例中，所述方法还包括：

所述索引服务器根据所述增量业务数据的所述更新的数据版本信息以及所述增量业务数据在所述HDFS中的第一存储地址，生成第一数据基本信息；

对应地，所述目标服务器根据更新的数据版本信息，从所述HDFS拉取所述更新的数据版本信息对应的所述增量业务数据，包括：

所述目标服务器根据所述更新的数据版本信息，从所述索引服务器中获取所述第一数据基本信息；

所述目标服务器根据所述第一数据基本信息包括的所述第一存储地址，从所述第一存储地址指示的HDFS存储位置中拉取所述更新的数据版本信息对应的所述增量业务数据。

在其中一个实施例中，所述索引服务器对所述增量分片业务数据进行处理，得到具有预设数据结构的增量业务数据，包括：

所述索引服务器采用拉链法对所述增量分片业务数据进行处理，得到具有预设数据结构的所述增量业务数据。