[发明专利]数据入库处理方法、装置、计算机设备和存储介质

说明书

本申请涉及数据库技术领域，提供了一种数据入库处理方法、装置、计算机设备和存储介质。该方法包括：通过接收待入库数据，并将待入库数据发送给目标窗口进行处理，得到目标存储数据，将该目标存储数据存储至数据库，其中，目标窗口的时间参数包括等待时间和窗口时间，该等待时间和窗口时间是根据至少一个历史窗口的处理耗时和处理数据量得到，使得在进行待入库数据接收和处理时，能够根据历史窗口的处理情况及时调整处理策略，避免系统资源浪费，提高了数据入库处理的效率。

技术领域

本申请涉及数据库技术领域，特别是涉及一种数据入库处理方法、装置、计算机设备和存储介质。

背景技术

数据库在进行数据入库时，通常会有大量的数据通过消息队列发到数据库的存储上。数据库对数据的需求具有实时性，需要在很短的数据延迟就可以在数据库查询到已入库数据。

目前技术中，通常采用流式处理入库技术处理消息队列的新增数据，将获得的数据准时地写入数据库的存储中。当增量数据的速率变动较大时，通常会导致资源浪费或者资源不足，影响数据入库处理的效率。

发明内容

基于此，有必要针对目前技术中存在的数据入库处理效率低的技术问题，提供一种数据入库处理方法、装置、计算机设备和存储介质。

一种数据入库处理方法，所述方法包括：

根据至少一个历史窗口对接收到的数据的处理耗时，得到目标窗口的等待时间；以及根据所述至少一个历史窗口的处理数据量，得到所述目标窗口的窗口时间；根据所述等待时间和所述窗口时间，生成所述目标窗口；所述等待时间表征上一个窗口结束至所述目标窗口产生的时间间隔，所述窗口时间表征所述目标窗口获取到的数据的时间区间；

接收待入库数据；

将所述待入库数据发送给目标窗口进行处理，获取所述目标窗口处理后的目标存储数据；将所述目标存储数据存储至数据库。

在其中一个实施例中，所述根据至少一个历史窗口对接收到的数据的处理耗时，得到目标窗口的等待时间；以及根据至少一个历史窗口的处理数据量，得到所述目标窗口的窗口时间，包括：

根据所述至少一个历史窗口的处理耗时与耗时阈值的对比结果，确定所述等待时间；

根据所述至少一个历史窗口的处理数据量与数据量阈值的对比结果，确定所述窗口时间。

在其中一个实施例中，所述根据所述至少一个历史窗口的处理耗时与耗时阈值的对比结果，确定所述等待时间，包括：

获取所述至少一个历史窗口的等待时间；

若所述至少一个历史窗口的处理耗时的加权耗时小于或等于所述耗时阈值，确定大于所述至少一个历史窗口的参照等待时间的时间值，作为所述等待时间；

若所述至少一个历史窗口的处理耗时的加权耗时大于所述耗时阈值，确定小于或等于所述至少一个历史窗口的参照等待时间的时间值，作为所述等待时间。

在其中一个实施例中，所述根据所述至少一个历史窗口的处理数据量与数据量阈值的对比结果，确定所述窗口时间，包括：

获取所述目标窗口的初始窗口时间；

若所述至少一个历史窗口的处理数据量大于所述数据量阈值，增大所述初始窗口时间，得到所述窗口时间。

在其中一个实施例中，所述接收待入库数据，包括：

根据所述窗口时间对应的时间区间内获取到的数据，得到所述待入库数据；

当所述目标窗口的上一个窗口处理结束，且所述等待时间经过，接收所述待入库数据。