[发明专利]数据处理方法、系统和计算机可读存储介质

说明书

本发明提供一种数据处理方法、系统和计算机可读存储介质，涉及集群的数据处理领域。该方法应用于分布式数据处理系统的第一服务，包括：多个具有缓存的服务分别在分布式应用程序协调组件的根节点下注册各自的子节点；当第一服务接收到元数据修改请求时，发送第一修改指令至数据库，使数据库修改第一元数据信息；依据数据库中修改后的第一元数据信息更新第一服务缓存；向其他服务的子节点发送第一元数据调整指令，当其他服务通过监听到各自对应的子节点获得第一元数据调整指令时更新各自缓存。第一服务接收元数据修改请求并发送第一修改指令至数据库，使数据库将第一元数据信息进行更新，第一服务将缓存中对应的元数据进行更新，提高数据处理效率。

技术领域

本发明涉及集群的数据处理领域，具体而言，涉及一种数据处理方法、系统和计算机可读存储介质。

背景技术

在网站创立初期，一般都使用单台机器提供集中式服务，但随着业务量越来越大，无论性能还是稳定性上都有了更大的挑战。为了提供更好的服务：一般会把多台机器组成一个集群对外提供服务。当前大多数的互联网系统都使用了服务器集群技术，如网络应用服务器集群、数据库服务器集群、分布式缓存服务器集群等。

在集群中，为了提高数据处理效率，通常需要将常用的数据进行缓存，一种现有技术方案是：将元数据存储到Zookeeper中，当Zookeeper节点中的元数据发生变化时，各个不同的服务从各自对应的Zookeeper节点中同步数据；显而易见的是，将元数据存储到Zookeeper节点中，维护难度大且不变查看和显示，读取数据的速度慢。另一种现有技术方案是：当需要读取元数据时，先从缓存中读取，如果缓存中没有该条数据再查询原始元数据库，并定期从原始元数据库中读取全量的元数据以便更新缓存；显然，其不能保证每次从缓存中拿到的数据和原始数据库是一致的，且缓存更新时间难以确定。因此，为了提高数据处理的效率，在元数据变化时，如何实现数据缓存的同步更新是目前亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据处理方法、系统和计算机可读存储介质。

为了实现上述目的，本发明采用的技术方案如下：

第一方面，本发明提供一种数据处理方法，应用于第一服务，所述第一服务设置于分布式数据处理系统，所述分布式数据处理系统包括数据库、分布式应用程序协调组件以及多个具有缓存的服务，所述第一服务为所述多个具有缓存的服务中的任意一个服务。所述方法包括：所述多个具有缓存的服务分别在所述分布式应用程序协调组件的根节点下注册各自的子节点；当所述第一服务接收到元数据修改请求时，所述第一服务发送与所述元数据修改请求对应的第一修改指令至所述数据库中，以使所述数据库修改与所述第一修改指令对应的第一元数据信息；其中，所述数据库包括所述第一服务对应的第一元数据信息；所述第一服务依据所述数据库中修改后的第一元数据信息，更新所述第一服务缓存中的第一元数据信息；所述第一服务向其他服务的子节点发送第一元数据调整指令；当所述其他服务通过监听到各自对应的子节点获得所述第一元数据调整指令时，所述其他服务根据所述第一元数据调整指令，更新各自缓存中的第一元数据信息；所述第一元数据调整指令用于指示所述数据库的第一元数据信息已修改。

在可选的实施方式中，所述分布式数据处理系统还包括所述第一服务对应的第一子节点，所述第一子节点为所述第一服务在所述根节点下注册的子节点，所述数据库还包括所述其他服务对应的第二元数据信息，所述方法还包括：所述第一服务对所述第一子节点进行监听；当所述第一子节点具有所述其他服务发送的第二元数据调整指令时，所述第一服务依据所述数据库中修改后的第二元数据信息，更新所述第一服务缓存中存储的所述第二元数据信息；所述第二元数据调整指令用于指示所述数据库的第二元数据信息已修改。