[发明专利]数据处理方法、装置、电子设备及计算机可读介质

说明书

本公开提供一种数据处理方法、装置、电子设备及计算机可读介质，属于互联网技术领域。该方法包括：数据中心从数据库获取全量数据或增量数据；将全量数据及对应的版本号同步到云服务，以便云服务存储全量数据和版本号；通过远程过程调用协议RPC服务将增量数据和所述增量数据对应的版本号同步到客户端。本公开客户端只需要凭借当前已有数据的版本号从数据中心中读取增量数据即可，可以防止客户端数量过多或请求数据量过大引起数据库链接被占满的现象出现，整个过程只有数据中心访问数据库并获取增量数据，客户端不再直接访问数据库，在客户端访问量过大时，可以通过扩容数据中心就能提供有效准确的数据服务，避免了复杂而且昂贵的数据扩容手段。

技术领域

本公开总体涉及互联网技术领域，具体而言，涉及一种数据处理方法、 装置、电子设备及计算机可读介质。

背景技术

目前，随着用户的增多，访问数据库的服务请求的并发量越来越大，而 且对于访问速度的要求也越来越快，无论是通过服务去访问数据库，或者是 通过统一的缓存中间件去访问数据库，都无法避免要进行网络开销，这样就 会增加网络开销。

为了解决网络开销的问题，可以将所需要的数据直接存储在服务的内存 中可以很好的满足访问速度的要求，同时可以提高并发的处理速度。但是将 所需要的数据直接存储在服务的内存中，不可避免的会产生各种问题，例如 一致性问题等。

因此，现有技术中的技术方案还存在有待改进之处。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理 解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种数据处理方法、装置、电子设备及计算机可读介质，解 决上述技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通 过本公开的实践而习得。

根据本公开的一方面，提供一种数据处理方法，包括：

所述数据中心从数据库获取全量数据或增量数据；

将所述全量数据及对应的版本号同步到云服务，以便所述云服务存储所 述全量数据和所述版本号；

通过远程过程调用协议RPC服务将所述增量数据和所述增量数据对应 的版本号同步到客户端。

在本公开的一个实施例中，所述数据中心从数据库获取全量数据或增量 数据包括：

判断所述数据中心中是否存在版本号，得到判断结果为存在或不存在；

如果所述判断结果为不存在，则首次从所述数据库获取所述全量数据， 并将所述全量数据及对应的版本号存储在数据中心的内存中；

如果所述判断结果为存在，则根据所述版本号从所述数据库获取相对应 的增量数据，并将所述增量数据存储在数据中心的内存；

其中所述版本号为从所述数据库获取全量数据或增量数据的时间戳。

在本公开的一个实施例中，所述数据中心从数据库获取全量数据之后， 还包括：

将存储在所述数据中心的内存中的所述全量数据结合相对应的版本号 存储到所述数据中心的本地文件中；

对所述全量数据进行校验，如果校验通过，则将所述全量数据及对应的 版本号同步到所述云服务。

在本公开的一个实施例中，所述数据中心从数据库获取增量数据之后， 还包括：

将存储在所述数据中心的内存的所述增量数据存储到所述数据中心的 本地文件中；