[发明专利]预取数据数量动态配置方法、装置、设备及存储介质

说明书

本申请涉及一种预取数据数量动态配置方法、装置、设备及存储介质，应用于数据预取技术领域，其方法包括：获取预设配置周期的网络延时、网络可用带宽、数据长度和数据处理速度；基于所述网络延时、所述网络可用带宽、所述数据长度和所述数据处理速度计算预取数据量。本申请具有实现预取数据数量的动态调整的效果。

技术领域

本申请涉及数据预取的技术领域，尤其是涉及一种预取数据数量动态配置方法、装置、设备及存储介质。

背景技术

数据库是一个按数据结构来存储和管理数据的计算机软件系统。数据库服务器建立在数据库系统基础上，具有数据库系统的特性，如数据库管理功能、数据库的查询和操纵功能、数据库维护功能、数据库并行运行功能。由于在同一时间，访问数据库的用户不止一个，因此数据库服务器必须支持并行运行机制，处理多个事件的同时发生。

数据库服务器和应用服务器可能会部署在不同地区，如A市和B市。当A市的应用服务器在向B市的数据库请求获取数据时，存在地域距离传输上的延时。如果按条顺序传输数据，则效率较低。数据库服务器提供预取多条数据的功能，可从应用服务器设置预取条数，一次请求多条数据，将多条数据一次性打包传输，应用服务器将多条数据缓存到本地，依次处理。

目前，预取数据的数量是运维人员根据经验进行固定配置的，不能充分考虑网络延时、实时的带宽利用率等因素，设置太大会造成其他业务的带宽争用，设置太小影响业务处理速度，不便于根据实际情况动态调整预取数据的数量。

发明内容

为了实现预取数据数量的动态调整，本申请提供一种预取数据数量动态配置方法、装置、设备及存储介质。

第一方面，本申请提供一种预取数据数量动态配置方法，采用如下的技术方案：

一种预取数据数量动态配置方法，包括：

获取预设配置周期的网络延时、网络可用带宽、数据长度和数据处理速度；

基于所述网络延时、所述网络可用带宽、所述数据长度和所述数据处理速度计算预取数据量。

通过采用上述技术方案，根据需求设定配置周期，每个周期重新计算预取数据量，以适应不同的网络环境，实现预取数据数量的动态调整，从而使资源得到均衡利用并且减小对其他业务使用网络带宽的影响。

可选的，所述基于所述网络延时、所述网络可用带宽、所述数据长度和所述数据处理速度计算预取数据量包括：

获取第一方程式，将所述网络延时、所述网络可用带宽、所述数据长度带入所述第一方程式，求解获得第一最大值；

获取第二方程式，将所述网络时延、所述数据处理速度带入所述第二方程式，求解获得第二最大值；

比较所述第一最大值和所述第二最大值的大小，选取所述第一最大值和所述第二最大值中较小的数据数量作为所述预取数据量。

通过采用上述技术方案， 第一方程式基于网络环境建立，充分利用网络可用带宽，第二方程式基于应用服务器的数据处理能力，充分利用应用服务的数据处理能力，采用第一最大值和第二最大值中的最小值，使网络可用带宽和应用服务的数据处理能力达到均衡的状态，从而提高资源的利用效率。

可选的，所述第一方程式为：

PrefetchCnt=(BandWidth*Delay)/(8*Reclength*1000)；

其中，PrefetchCnt为预取数据量，单位为条；BandWidth为网络可用带宽，单位为bps；Delay为网络延时，单位为ms；Reclength为数据长度，单位为Bytes；8和1000为单位统一用常数。

通过采用上述技术方案，利用网络可用带宽和与网络带宽相关的网络时延，以及待处理的预取数据的数据长度，计算当前状态下网络带宽允许的最大预取数据量，充分的利用网络可用带宽，提高数据处理速度。

可选的，所述第二方程式为：