[发明专利]数据入库处理方法、装置、计算机设备和存储介质

权利要求书

1.一种数据入库处理方法，其特征在于，所述方法包括：

根据至少一个历史窗口对接收到的数据的处理耗时，得到目标窗口的等待时间；以及根据所述至少一个历史窗口的处理数据量，得到所述目标窗口的窗口时间；根据所述等待时间和所述窗口时间，生成所述目标窗口；所述等待时间表征上一个窗口结束至所述目标窗口产生的时间间隔，所述窗口时间表征所述目标窗口获取到的数据的时间区间；其中，根据至少一个历史窗口对接收到的数据的处理耗时，得到目标窗口的等待时间，包括：获取所述至少一个历史窗口的等待时间；若所述至少一个历史窗口的处理耗时的加权耗时小于或等于耗时阈值，确定大于所述至少一个历史窗口的参照等待时间的时间值，作为所述等待时间；若所述至少一个历史窗口的处理耗时的加权耗时大于所述耗时阈值，确定小于或等于所述至少一个历史窗口的参照等待时间的时间值，作为所述等待时间；所述参照等待时间为参照历史窗口对应的等待时间；所述参照历史窗口为所述目标窗口的上一个窗口；

接收待入库数据；

将所述待入库数据发送给目标窗口进行处理，获取所述目标窗口处理后的目标存储数据；

将所述目标存储数据存储至数据库。

2.根据权利要求1所述的方法，其特征在于，所述根据至少一个历史窗口的处理数据量，得到所述目标窗口的窗口时间，包括：

根据所述至少一个历史窗口的处理数据量与数据量阈值的对比结果，确定所述窗口时间。

3.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个历史窗口的处理数据量与数据量阈值的对比结果，确定所述窗口时间，包括：

获取所述目标窗口的初始窗口时间；

若所述至少一个历史窗口的处理数据量大于所述数据量阈值，增大所述初始窗口时间，得到所述窗口时间。

4.根据权利要求1所述的方法，其特征在于，所述接收待入库数据，包括：

根据所述窗口时间对应的时间区间内获取到的数据，得到所述待入库数据；

当所述目标窗口的上一个窗口处理结束，且所述等待时间经过，接收所述待入库数据。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述待入库数据发送给目标窗口进行处理，获取所述目标窗口处理后的目标存储数据，包括：

按照目标合并频率将所述待入库数据中的文件进行合并处理，得到列式存储的所述目标存储数据。

6.根据权利要求5所述的方法，其特征在于，所述按照目标合并频率将所述待入库数据进行合并处理之前，所述方法还包括：

获取所述待入库数据的基准合并频率；

若所述历史窗口的数据处理量大于对应的处理量阈值，降低所述基准合并频率，得到所述目标合并频率。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述目标存储数据存储失败，记录所述目标存储数据的存储失败状态，并删除所述待入库数据；

若所述目标存储数据存储成功，记录所述目标窗口处理耗时和处理数据量，并记录所述待入库数据所在消息队列的消费偏移量。