[发明专利]数据处理方法、装置、系统及介质

说明书

本公开提供了一种数据处理方法。所述方法包括接收访问系统的多个第一数据，以及将所述多个第一数据分流暂存于至少两个中间数据库，其中，所述中间数据库能够进行数据查询。本公开还提供了一种数据处理装置、系统及介质。

技术领域

本公开涉及互联网技术领域，更具体地，涉及一种数据处理方法、装置、系统及介质。

背景技术

互联网发展迅猛的今天，数据的增长量超乎想互联网系统中，有时候会遇到高并发写入数据的情况，例如电商大促销活动、集中网络报名、或者集中网络查询等一系列情形。在这些高并发写入数据的情况下，如何保证大量的高并发写入的数据的准确性、不丢失性和系统稳定性是非常关键的。现有技术中普遍采用的方案是利用消息中间件的队列特性将写入系统的大量数据的堆积在消息队列中，后续再逐个进行消费处理，例如持久化写入数据库中。

在实现本发明构思的过程中，发明人发现现有技术中至少存在如下问题：现有技术中消息中间件起到了数据队列管道的作用，高并发数据写入后都进入数据队列中等待被处理。当数据量巨大时(例如数据洪峰期)该消息中间件有可能由于压力过大而崩溃，导致消息队列中的数据丢失。而且大量数据积压在该消息中间件中，也无法提供实时的查询等数据分析服务。

发明内容

有鉴于此，本公开提供了一种可以将高并发写入数据实时分流至多个中间数据库并可以提供一定的实时查询功能的数据处理方法、装置、系统及介质。

本公开的一个方面提供了一种一种数据处理方法。所述方法包括：接收访问系统的多个第一数据，以及将所述多个第一数据实时分流暂存于至少两个中间数据库，其中，所述中间数据库能够随机写入数据并能够进行数据查询。

根据本公开的实施例，在将所述多个第一数据实时分流暂存于至少两个中间数据库之前，所述方法还包括：对每一个第一数据，判断所述第一数据是否属于重复性数据；以及在所述第一数据属于重复性数据的情况下，拦截所述第一数据。

根据本公开的实施例，将所述多个第一数据实时分流暂存于至少两个中间数据库，包括根据所述中间数据库的个数，将所述多个第一数据以轮询方式分流至所述至少两个中间数据库。

根据本公开的实施例，所述方法还包括根据调度任务将所述中间数据库的数据持久化至第二数据库，其中所述第二数据库能够持久化存储和查询数据。

根据本公开的实施例，所述调度任务包括以下的任意一项或多项：持久化操作的时间间隔、每次持久化操作的数据量、以及每次持久化操作的数据类型。

根据本公开的实施例，根据调度任务将所述中间数据库的数据持久化至第二数据库之后，所述方法还包括从所述中间数据库删除被持久化处理的数据。。

根据本公开的实施例，所述中间数据库包括LevelDB数据库。

本公开的另一方面提供了一种数据处理装置，包括数据接收模块和数据分流模块。数据接收模块用于接收访问系统的多个第一数据。数据分流模块，用于将所述多个第一数据实时分流暂存于至少两个中间数据库，其中，所述中间数据库能够随机写入数据并能够进行数据查询。

根据本公开的实施例，所述装置还包括重复性判断模块和重复数据拦截模块。重复性判断模块用于在将所述多个第一数据分流暂存至两个以上的中间数据库之前，对每一个第一数据，判断所述第一数据是否属于重复性数据。重复数据拦截模块用于在所述第一数据属于重复性数据的情况下，拦截所述第一数据。

根据本公开的实施例，将所述多个第一数据实时分流暂存于至少两个中间数据库，包括根据所述中间数据库的个数，将所述多个第一数据以轮询方式分流至所述至少两个中间数据库。

根据本公开的实施例，所述装置还包括数据持久化模块。数据持久化模块用于根据调度任务将所述中间数据库的数据持久化至第二数据库，其中所述第二数据库能够持久化存储和查询数据。