[发明专利]实时数据处理方法、装置及设备

权利要求书

1.一种实时数据处理方法，其特征在于，包括：

获取任一实时数据，并确定所述实时数据的数据时间；

根据所述数据时间确定所述实时数据所属的时间窗口，并将所述实时数据对应的明细数据保存至数据库中所述时间窗口对应的明细数据集中；

若所述实时数据为数据时间满足预设触发条件的实时数据，则从所述数据库中获取所述时间窗口对应的明细数据集，并调用窗口函数对所述时间窗口对应的明细数据集进行函数计算，得到计算结果数据；

在所述数据库中的窗口计算数据中保存所述计算结果数据；

若确定所述窗口计算数据中的计算结果数据为执行失败，则重新从所述数据库中获取所述时间窗口对应的明细数据集，并重新调用窗口函数对所述时间窗口对应的明细数据集进行计算，得到校正后的计算结果数据。

2.根据权利要求1所述的方法，其特征在于，所述窗口计算数据包括计算结果数据表和窗口函数键值索引表，其中所述计算结果数据存储在所述计算结果数据表中；

所述在所述数据库中的窗口计算数据中保存所述计算结果数据之后，还包括：

接收用户端发送的状态查看请求，其中所述状态查看请求中包含窗口函数键值；

根据所述窗口函数键值查询所述窗口函数键值索引表得到索引结果，并根据索引结果从所述计算结果数据表中得到对应的计算结果数据；

将所述对应的计算结果数据发送至所述用户端展示。

3.根据权利要求1所述的方法，其特征在于，所述将所述实时数据对应的明细数据保存至数据库中所述时间窗口对应的明细数据集中，包括：

将所述实时数据保存至数据库中的所述时间窗口对应的当前数据明细表中，并在所述时间窗口对应的窗口索引表中记录所述明细数据的索引信息。

4.根据权利要求3所述的方法，其特征在于，所述将所述实时数据保存至数据库中的所述时间窗口对应的数据明细表中之后，还包括：

当根据所述窗口索引表的索引信息确定所述当前数据明细表中的数据量大于设定阈值时，建立新增数据明细表作为新的当前数据明细表；

当接收到属于所述时间窗口的新的实时数据时，将所述新的实时数据对应的明细数据保存至所述新的当前数据明细表中；

在所述窗口索引表中增加所述新的当前数据明细表的索引信息。

5.根据权利要求3所述的方法，其特征在于，所述从所述数据库中获取所述时间窗口对应的明细数据集，并调用窗口函数对所述时间窗口对应的明细数据集进行计算，包括：

确定所述时间窗口的起始水位线和结束水位线对应的分值区间；

根据所述分值区间查询所述窗口索引表以获取目标索引信息；

根据所述目标索引信息从所述数据明细表中获取对应的明细数据集；

按照执行器数量对所述明细数据进行拆分，并通过Spark工作进程以调用窗口函数对所述明细数据进行分布式窗口计算。

6.根据权利要求5所述的方法，其特征在于，若所述时间窗口的窗口时间单位大于秒级；所述将所述实时数据对应的明细数据保存至数据库中所述时间窗口对应的明细数据集中之后，还包括：

每隔第一预设时间间隔对所述时间窗口对应的明细数据集进行函数计算，得到计算结果数据，并将计算结果数据存储至数据库中。

7.根据权利要求6所述的方法，其特征在于，还包括：

在预设时刻将所述时间窗口最新计算得到的计算结果数据与所述时间窗口的所有的历史计算结果数据汇总得到汇总的计算结果数据；

获取所述数据库中的汇总的计算结果数据；

通过调用各窗口函数对所述汇总的计算结果数据重新计算，以对汇总的计算结果数据进行校验。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述数据时间确定所述实时数据所属的时间窗口之后，还包括：

若所述实时数据隶匹配多个时间窗口，则将所述实时数据进行拆分，将拆分后的实时数据分别保存至多个时间窗口对应的明细数据集中。