[发明专利]流计算方法、装置、设备及存储介质

权利要求书

1.一种流计算方法，其特征在于，所述流计算方法包括：

从预设的消息中间件获取业务数据，得到用于流计算的数据源；

基于预设的计算需求信息，生成流计算作业，并将所述流计算作业提交至Flink计算集群以执行所述流计算作业；

调用所述Flink计算集群，并基于所述流计算作业中的数据需求信息，从所述数据源中获取所述流计算作业所需要的流数据资源；

调用Flink中的窗口分配器，并基于预设的数据分布策略，将所述流计算作业所需要的流数据资源封装于至少一个数据窗口中；

为每个所述数据窗口注册用于触发窗口计算的计算触发器，其中，所述计算触发器包括基于等待时长的定时触发器和基于窗口内数据量的计数触发器；

对每个所述数据窗口的定时触发器和计数触发器进行监听，当任意一个所述数据窗口的其中一个计算触发器被激活时，则清除另一个未激活的计算触发器，并调用预设的窗口函数对每个所述数据窗口中的数据进行计算，得到所述流计算作业对应的流计算结果。

2.根据权利要求1所述的流计算方法，其特征在于，所述计算需求信息中包括多个计算逻辑信息，所述基于预设的计算需求信息，生成流计算作业，并将所述流计算作业提交至Flink计算集群以执行所述流计算作业包括：

解析所述多个计算逻辑信息以生成有向无环图，其中，所述有向无环图具有多个节点和连接所述节点的有向边，所述节点用于指示计算逻辑中的数据操作，所述有向边用于指示计算逻辑中的数据流向；

根据所述有向无环图生成流计算作业，并将所述流计算作业提交至Flink计算集群以执行所述流计算作业。

3.根据权利要求1所述的流计算方法，其特征在于，所述基于预设的数据分布策略，将所述流计算作业所需要的流数据资源封装于至少一个数据窗口中包括：

基于预设的分流指标，对所述流计算作业所需要的流数据资源进行分流，得到多个数据分流；

调用Flink中的窗口分配器，将所述多个数据分流封装至多个数据窗口中，其中，每个数据分流与每个数据窗口存在一一对应的封装关系。

4.根据权利要求1所述的流计算方法，其特征在于，所述预设的窗口函数包括增量计算函数或全量计算函数。

5.根据权利要求1所述的流计算方法，其特征在于，所述方法还包括：

接收所述Flink集群中的多个计算节点发送的节点信息，并根据所接收的节点信息，将本地保存的所述流计算作业的作业配置信息中的初始值同步至所述多个计算节点中，其中，所述作业配置信息包括输出阈值和存储设备信息；

调用所述Flink集群中的多个计算节点，并根据所述输出阈值，将所述流计算作业对应的流计算结果输出至目标存储设备，其中，所述目标存储设备与所述存储设备信息对应；

根据不同的应用场景，对所述目标存储设备中存储的流计算结果进行数据分发。

6.根据权利要求5所述的流计算方法，其特征在于，所述根据不同的应用场景，对所述目标存储设备中存储的流计算结果进行数据分发包括：

将计算结果数据与原生数据进行数据量比较，其中，所述计算结果数据为所述流计算作业对应的流计算结果中所包含的数据，所述原生数据为所述流计算作业所需要的流数据资源中所包含的数据；

当所述计算结果数据的数据量与所述原生数据的数据量相比无数量级上的变化时，则将所述计算结果数据存储至HBase中以提供数据查询服务；

当所述计算结果数据在数据量上大于所述原生数据且两者之间的差值大于预设第一阈值时，则将所述计算结果数据存储至Hapoop中的HDFS中，并基于Hapoop的离线计算服务，将HDFS中所述计算结果数据与其他非埋点数据进行关联以提供实时数据服务；

当所述计算结果数据在数据量上小于所述原生数据且两者之间的差值小于预设第二阈值时，则将所述计算结果数据写入关系型数据库中以提供数据服务；

当所述计算结果数据在数据量上小于所述原生数据且两者之间的差值大于预设第二阈值时，则将所述计算结果数据保存至缓存数据库中以提供数据服务。