[发明专利]一种应对大数据高并发计数场景的计数方法及系统

说明书

本发明涉及一种应对大数据高并发计数场景的计数方法，包括以下步骤：构建活动参与历史存储数据库,并按用户唯一标识建立索引；构建平台计数存储，并按计数项建立唯一索引；根据业务规则，参与主体主题活动时，在活动参与历史存储中记录数据；用户进入各种主题活动时，直接通过检索平台计数存储得到参与各种主题活动所需的营销数据。本发明能够有效减少数据规模，实现业务数据存储和计数检索分离。

技术领域

本发明涉及大数据高并发领域，具体涉及一种应对大数据高并发计数场景的计数方法及系统。

背景技术

面对大数据高并发的业务场景，每个登录平台的用户，根据业务规则每天都可以参加平台制定并开放的各类主题活动，这些场景需要统计各类主题活动的营销数据，即存在计数需求。现有技术方案：存储每次参与主题活动的的数据到活动参与历史存储中，它的特点是数据规模增长迅速，数据量大，并发量大，即大数据高并发。需要获各类营销数据时，平台都需要检索活动参与历史存储，从海量的数据中检索出历史数据并根据业务规则检索出计数项。

现有技术的缺点：用户每次进入各种主题活动，平台都需要检索活动参与历史存储，然后计算出对应的营销数据，该检索数据规模大，每个检索耗时大，在千万级别的数据量级下，每个检索大概耗时30分钟以上，在大并发场景下，这些主题活动占用了平台存储全部可用连接，造成整个平台无法访问，甚至奔溃。

发明内容

有鉴于此，本发明的目的在于提供一种应对大数据高并发计数场景的计数方法及系统，能够有效减少数据规模，实现业务数据存储和计数检索分离。

为实现上述目的，本发明采用如下技术方案：

一种应对大数据高并发计数场景的计数方法，包括以下步骤：

构建活动参与历史存储；

构建平台计数存储；

根据业务规则，参与这类主题活动时，在活动参与历史存储中记录数据；

用户进入各类主题活动时，直接通过检索平台计数存储得到参与各类主题活动所需的营销数据（计数类数据）。

进一步的，所述平台计数存储关键信息包括计数项（COUNT_ITEM）和计数值（COUNT_VALUE）。

进一步的，所述记录数据之前，平台会根据业务规则（计数项）进行计数。如果需要进行计数，就会在平台计数存储中，根据对应的计数项，新增一个计数；如果不需要进行计数，则不进行平台计数存储的计数操作；如果需要减少计数，则进行扣减一个计数。

进一步的，所述用户进入各类主题活动时，直接通过 平台计数存储来检索到参与该主题活动的营销数据（计数类数据）。

一种应对大数据高并发计数场景的计数系统，包括活动参与历史存储、平台计数存储、查询模块和用户端；所述活动参与历史存储、平台计数存储和查询模块依次连接。

本发明与现有技术相比具有以下有益效果：

本发明能够有效减少检索数据规模，实现业务数据存储和计数检索分离。

具体实施方式

下面实施例对本发明做进一步说明。

本发明提供一种应对大数据高并发计数场景的计数方法，包括以下步骤：

构建活动参与历史存储,存储活动参与历史数据；

构建平台计数存储，关键信息包括计数项（COUNT_ITEM）、计数值（COUNT_VALUE）；

平台各类主题活动，根据业务规则，参与主题活动时，都会在活动参与历史存储中记录数据。在记录数据之前，平台会根据业务规则进行计数，如果需要进行计数，就会在平台计数存储中，根据对应的计数项，新增一个计数；如果不需要进行计数，则不进行平台计数存储的计数操作；如果需要减少计数，则进行扣减一个计数；