[发明专利]一种数据实时计算统计的方法、装置、设备及介质

权利要求书

1.一种数据实时计算统计的方法，其特征在于，包括：

采用消息中间件将数据源的数据均衡地发布到多个计算节点上；

所述多个计算节点采用并行方式将各自接收到的数据存入SQLite内存模式数据库作为第一数据，对所述第一数据执行统计任务；其中，针对当前计算节点，所述统计任务包括：

根据预设的业务需求配置文件，从所述第一数据中过滤出第二数据，将所述第二数据存入SQLite内存模式数据库；

以及，根据所述业务配置文件操作SQL语句，对所述第一数据进行统计运算，生成中间计算结果；其中，所述统计运算包括：检索、合并和统计更新；

以及，将所述中间计算结果存入所述SQLite内存模式数据库，并将所述中间计算结果推送至下一层级的计算节点；

根据以上统计任务得到多个所述计算节点的中间结果数据，将多个所述中间结果数据推送至汇总节点，通过所述汇总节点对多个所述中间结果数据进行计算统计。

2.根据权利要求1所述的方法，其特征在于，所述通过所述汇总节点对多个所述中间结果数据进行计算统计，包括：

通过所述汇总节点根据预设的业务配置，对多个所述中间结果数据进行数据分类合并，定时生成统计数据；

将所述统计数据输出给用于审计业务的业务端。

3.根据权利要求1所述的方法，其特征在于，所述消息中间件为ZeroMq消息中间件。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述ZeroMq消息中间件启动后，调用用于创建ZMQ环境上下文的函数，创建上下文指针；调用用于创建ZMQ套接字的函数，创建用于发送消息的套接字指针；调用用于绑定套接字的函数，绑定所述计算节点的地址；

通过所述ZeroMq消息中间件监听所述计算节点的连接请求；

在所述计算节点创建用于接收消息的套接字指针，以及调用用于创建对外连接的函数连接所述ZeroMq消息中间件后，所述计算节点和所述ZeroMq消息中间件握手并建立连接。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述当前计算节点加载预设的业务配置文件，调用用于打开数据库链接的函数创建SQLite内存模式数据库并生成入库处理指针，调用SQLite3_exec执行结构化查询语言SQL，以创建统计表；

所述将所述第二数据存入SQLite内存模式数据库，包括：

将所述第二数据插入所述SQLite内存模式数据库的所述统计表中。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述当前计算节点生成所述中间计算结果之后，删除所述第一数据。

7.根据权利要求1所述的方法，其特征在于，不同所述计算节点的所述统计任务不同。

8.一种数据实时计算统计的装置，其特征在于，包括：

数据分发模块，用于采用消息中间件将数据源的数据均衡地发布到多个计算节点上；

任务执行模块，用于所述多个计算节点采用并行方式将各自接收到的数据存入SQLite内存模式数据库作为第一数据，对所述第一数据执行统计任务；其中，针对当前计算节点，所述统计任务通过入库模块、运算模块和结果处理模块执行：

所述入库模块，用于根据预设的业务需求配置文件，从所述第一数据中过滤出第二数据，将所述第二数据存入SQLite内存模式数据库；

所述运算模块，用于根据所述业务配置文件操作SQL语句，对所述第一数据进行统计运算，生成中间计算结果；其中，所述统计运算包括：检索、合并和统计更新；

所述结果处理模块，用于将所述中间计算结果存入所述SQLite内存模式数据库，并将所述中间计算结果推送至下一层级的计算节点；

数据汇总模块，用于根据以上统计任务得到多个所述计算节点的中间结果数据，将多个所述中间结果数据推送至汇总节点，通过所述汇总节点对多个所述中间结果数据进行计算统计。