[发明专利]一种基于消息队列的数据处理方法、装置、计算机设备和存储介质

权利要求书

1.一种基于消息队列的数据处理方法，其特征在于，包括：

消息队列服务端获取待统计网站在预设周期内的各页面浏览量，以及各页面点击量的动作流数据总量；

所述消息队列服务端根据所述各页面浏览量以及所述各页面点击量，获取消息队列主题名称；

所述消息队列服务端将所述消息队列主题名称，以及所述动作流数据总量与预设抽样统计规则进行匹配，得到匹配的数据压缩比例；

所述消息队列服务端根据匹配的所述数据压缩比例，对所述动作流数据总量执行数据随机抽样操作，得到统计结果数据；

所述消息队列服务端将所述统计结果数据发送到消息队列消费端；

所述消息队列消费端接收所述统计结果数据，并获取所述统计结果数据中的所述数据压缩比例；

所述消息队列消费端根据所述数据压缩比例复原所述统计结果数据，得到复原后数据总量，并存储在预设数据库中。

2.根据权利要求1所述的方法，其特征在于，所述对应消息队列主题名称的动作流数据总量的压缩比例包括：所述各主题名称的动作流数据总量的各级抽样统计范围阈值，以及对应所述各级抽样统计范围阈值的动作流数据总量的数据压缩比例；所述抽样统计范围阈值包括所述动作流数据总量的最低阈值和最高阈值；在所述动作流数据总量中，利用相同的数据压缩比例，抽取的样本概率相同。

3.根据权利要求2所述的方法，其特征在于，所述消息队列服务端将所述消息队列主题名称，以及所述动作流数据总量与预设抽样统计规则进行匹配，得到匹配的数据压缩比例，包括：

所述消息队列服务端将所述消息队列主题名称与预设抽样统计规则中各主题名称进行匹配，获取所述对应各主题名称的所述动作流数据总量的各级抽样统计范围阈值；

所述消息队列服务端获取对应所述各级抽样统计范围阈值的，针对所述动作流数据总量的数据压缩比例。

4.根据权利要求1所述的方法，其特征在于，所述消息队列服务端将所述消息队列主题名称，以及所述动作流数据总量与预设抽样统计规则进行匹配，得到匹配的数据压缩比例之后，还包括：

所述消息队列服务端将所述消息队列主题名称，以及所述动作流数据总量，在所述预设抽样统计规则中匹配对应数据压缩比例失败，则将所述动作流数据总量发送至所述消息队列消费端。

5.根据权利要求4所述的方法，其特征在于，所述消息队列消费端根据所述数据压缩比例复原所述统计结果数据，得到复原后数据总量，并存储在预设数据库中，包括：

所述消息队列消费端接收所述动作流数据总量，并存储至所述预设数据库中。

6.根据权利要求1所述的方法，其特征在于，所述消息队列消费端接收所述统计结果数据，并获取所述统计结果数据中的所述数据压缩比例之后，还包括：

若所述消息队列消费端接收所述统计结果数据，在获取所述统计结果数据中的所述数据压缩比例失败，则将所述统计结果数据存储至预设数据库。

7.根据权利要求1所述的方法，其特征在于，所述消息队列为Kafka消息队列。