[发明专利]一种实时数据分类统计方法、系统、可读介质及设备

说明书

本发明公开了一种实时数据分类统计方法，包括：由消息中间件kafka获取用户操作工业大数据平台系统而产生的实时操作数据；采用Flink分布式流数据处理引擎对所述实时操作数据进行分类统计，得到对所述实时操作数据的分类统计结果；采用Elasticsearch分布式全文搜索引擎对所述分类统计结果进行分类存储。本发明实现了对用户操作工业大数据平台系统而产生的实时操作数据的分类统计以及分类存储，提高了对数据处理的实时性。本发明还提供了一种实时数据分类统计系统、计算机可读介质及设备。

技术领域

本发明涉及数据分析处理技术领域，具体涉及一种实时数据分类统计方法、系统、可读介质及设备。

背景技术

对于一些工业大数据平台系统，需要对用户操作工业大数据平台系统的实时操作数据进行分类统计。比如一种工业大数据竞赛系统可提供给用户开展在线答题竞赛，用户登录该竞赛系统会产生登录数据，进入到答题环节会产生答题数据，如果竞赛系统还具备发布竞赛博客、删除博客、点赞博客、浏览博客等功能，用户在实现这些系统功能过程中还会产生相应的实时操作数据。为便于对用户操作行为的统计分析，需要对用户的这些实时操作行为进行分类统计，但现有的数据分类统计方法对于数据分类统计的实时性不够理想，无法做到对用户操作行为的实时分类统计。

而且，工业大数据平台系统用户通常希望对分类统计结果进行分类查询，但现有的数据分类统计系统一般将分类统计结果以数据集形式进行集中式地存储，用户无法针对特定的实时操作数据查询系统对其的分类统计结果，比如用户无法查询自身或其他用户的博客点赞数，给系统用户带去了使用上的不便。

发明内容

本发明的目的在于提供一种实时数据分类统计方法、系统、可读介质及设备，以实现对用户操作工业大数据平台系统而产生的实时操作数据的分类统计以及分类存储。

为达此目的，本发明采用以下技术方案：

提供一种实时数据分类统计方法，包括：

由消息中间件kafka获取用户操作工业大数据平台系统而产生的实时操作数据；

采用Flink分布式流数据处理引擎对所述实时操作数据进行分类统计，得到对所述实时操作数据的分类统计结果；

采用Elasticsearch分布式全文搜索引擎对所述分类统计结果进行分类存储。

作为本发明的一种优选方案，所述工业大数据平台包括工业大数据竞赛系统，用户操作所述工业大数据竞赛系统而产生的所述实时操作数据包括浏览博客、发布博客、点赞博客、删除博客、回答问题、确认参加比赛、确认退出比赛中的任意一种或多种。

作为本发明的一种优选方案，所述消息中间件kafka的业务逻辑通过AOP软件开发方式实现。

作为本发明的一种优选方案，所述消息中间件kafka的业务逻辑以kafka配置文件形式保存。

作为本发明的一种优选方案，所述消息中间件kafka对监听到的所述实时操作数据采用动态工厂模式，以反射的方式将不同类型的所述实时操作数据分发给所述Flink分布式流数据处理引擎分别进行数据处理。

本发明还提供了一种实时数据分类统计系统，可实现所述的实时数据分类统计方法，该系统包括：

初始化模块，用于提供给工业大数据平台系统加载kafka配置文件，然后初始化消息中间件kafka并注册消息监听；

消息监听模块，连接所述初始化模块，用于通过所述消息中间件kafka监听用户操作工业大数据平台而产生的实时操作数据，并将监听到的所述实时操作数据以kafka消息的形式发送给Flink分布式流数据处理引擎进行进一步的数据分类统计；