[发明专利]一种数据分片分布式处理方法、系统、介质和电子设备

说明书

本发明提供一种数据分片分布式处理方法、系统、介质及电子设备，包括：将多个初始化服务器注册到zookeeper集群中；创建所述多个初始化服务器的一致性哈希环；接收单次点击消耗量数据并直接写入mysql关系型数据库；通过所述单次点击消耗量数据中的用户信息及所述一致性哈希环获取距离用户最近的服务器信息；将所述单次点击消耗量数据存储到获取的所述服务器需要处理的redis列表队列中；从服务器的所述redis列表队列中获取所述单次点击消耗量数据，并进行逻辑处理。

技术领域

本发明涉及分布式数据处理技术领域，具体而言，涉及一种数据分片分布式处理方法、系统、介质和电子设备。

背景技术

随着云计算、移动互联网和物联网等新一代信息技术的创新和应用普及，人类早已进入了大数据时代，越来越多的企业需要利用对于大数据的分析来协助企业作出决策，而不同于以往仅仅只是利用经验及直觉。因此，企业对于大数据量的分析处理具有很大的需求。

分布式数据处理系统(Distributed Data Stream Management System，DDSMS)是可以对数据进行分布式处理的系统。DDSMS可以极大地缩短数据处理时间，提高响应速度，在实际生活中具有极其广泛的用途。一般来说，一个DDSMS具有以下的功能：

(1)由于物理存储空间的限制和处理效率的要求，对数据流进行在线处理时，一般只扫描数据一遍；

(2)在一定的时间内，能够对数据进行排序，使无序变为有序；

(3)对用户而言，传统的DDSMS的程序设计使用户对数据的查询具有很好的实时性；

(4)传统的DDSMS在处理数据中，当遇到数据流的数据量巨大已超过系统的承载能力时，随机或者有选择地清除一些数据以缓解系统数据的膨胀；

(5)传统的DDSMS对异常数据的处理也提出了一些要求，首先要迅速，同时要合乎实时的要求；

(6)及时的数据用户的接口能够为用户提供方便的数据信息查询。

基于云计算的大数据统一分析处理方法，可以将海量结构化、非结构化和半结构化数据分布式处理，能解析异构数据的查询分析请求，按照查询分析的数据对象所在位置调度数据处理计算，将数据分析处理计算分布到各数据存储节点上，实现异构数据的并行分析处理，提供统一数据访问接口具有克服了大数据分析处理的复杂性和挑战性，满足大数据处理的规模不断增长和实时性需求等优点。

然而，在进行广告信息推送以及数据统计时，特别是针对cpc(“Cost Per Click”的英文缩写，每一次点击)用户消耗统计场景；用户的点击广告的并发量很高，如cpc点击产品峰值qps超1000，同时cpc消耗统计涉及资金事务处理的外部系统调用，存储在mysql的数据也会因为数据量庞大导致读取性能急剧降低，从而使处理速度较慢。

因此，在长期的研发当中，发明人对数据处理进行了大量的研究，提出了一种数据分片分布式处理方法，以解决上述技术问题之一。

发明内容

本发明的目的在于提供一种数据分片分布式处理方法、系统、介质和电子设备，能够解决上述提到的至少一个技术问题。具体方案如下：

一种数据分片分布式处理方法，该方法应用于数据分片分布式处理系统，该系统包括注册模块、创建模块、接收模块、获取模块、存储模块、以及处理模块，该方法包括：

步骤1，注册模块将多个初始化服务器注册到zookeeper集群中；

步骤2，创建模块创建所述多个初始化服务器的一致性哈希环；

步骤3，接收模块接收单次点击消耗量数据并直接写入mysql关系型数据库；