[发明专利]多数据流处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种多数据流处理方法、装置、计算机设备和存储介质。所述方法包括：持续接收来自流处理平台的第一流式数据和第二流式数据；接收到对应有第二流式数据的第一流式数据后，若确定与其对应的第二流式数据已全接收到，对第一流式数据及其对应的第二流式数据进行关联处理，在关联处理后得到的关联数据满足预设条件时，将第一流式数据存入数据库；接收到第二流式数据后，若确定与其对应的目标第一流式数据已接收到，且与目标第一流式数据对应的第二流式数据已全接收到，对目标第一流式数据及其对应的第二流式数据进行关联处理，在关联处理后得到的关联数据满足预设条件时，将目标第一流式数据存入数据库，能更实时地处理多实时数据流。

技术领域

本申请涉及大数据实时处理领域，特别是涉及一种多数据流处理方法、装置、计算机设备和存储介质。

背景技术

在价格管控业务系统中，价格在订单数据上分为两种：销售金额和支付金额，对于价格的管控如果只根据销售金额管控，会造成管控效果比较低；如果只根据实际支付金额管控，则会造成预期管控效果严格。要想达到预期效果，需要使用订单的实际支付金额与用券信息算出实际的付款金额进行管控。

目前的做法通常是将多个实时数据流的数据先保存至关系型数据库或HDFS(Hadoop Distributed File System，分布式文件系统)，然后对业务提供离线查询功能，在关系型数据库或HDFS中通过多张表关联查询得到需要处理的结果集，再交由各业务系统对结果集进行处理。

然而，基于离线技术查询结果的方式，数据延时性高，因而上述做法无法保证数据实时性。而由于多个实时数据流处理完成后的入表时间不确定，容易导致关联查询时出现数据缺失的情况，因而上述做法也无法保证数据可靠。此外，多个交互的实时数据流的数据可能并没有保存价值或者在某些类型的数据库中没有进行冗余的必要，因而，上述做法还会占用过多存储资源，造成系统存储资源的利用率低下。

发明内容

本发明针对现有技术的缺点，提供了一种多数据流处理方法、装置、计算机设备和存储介质，本发明实施例能够更实时地对多实时数据流进行处理，并且使处理得到的数据更为准确，并且能够减少对存储资源的占用。

本发明根据第一方面提供了一种多数据流处理方法，在一个实施例中，该方法包括：

持续接收来自流处理平台的第一流式数据和第二流式数据，任一个第一流式数据对应0个第二流式数据或至少一个第二流式数据，任一个第二流式数据对应一个第一流式数据；

在接收到任一个对应有第二流式数据的第一流式数据后，若确定与其对应的所有第二流式数据已全部接收到，则对该任一个对应有第二流式数据的第一流式数据以及与其对应的所有第二流式数据进行关联处理，在关联处理后得到的关联数据满足预设条件时，将该任一个对应有第二流式数据的第一流式数据存入数据库；

在接收到任一个第二流式数据后，若确定与其对应的目标第一流式数据已接收到，且与目标第一流式数据对应的所有第二流式数据已全部接收到，则对目标第一流式数据以及与其对应的所有第二流式数据进行关联处理，在关联处理后得到的关联数据满足预设条件时，将目标第一流式数据存入数据库。

在一个实施例中，对该任一个对应有第二流式数据的第一流式数据以及与其对应的所有第二流式数据进行关联处理的步骤之前，包括：

获取该任一个对应有第二流式数据的第一流式数据包括的第一数据标识；

确定该第一数据标识对应的第二数据标识，该第一数据标识对应的第二数据标识的数量为N，N为大于0正整数；

根据该第一数据标识生成第一数据索引；

查询数据存储中间件中与第一数据索引对应的第二数据标识，第一数据索引对应的第二数据标识的数量为M，M为大于0正整数；