[发明专利]一种数据处理方法及装置

权利要求书

1.一种在计算分位数过程中减少对数据库的I/O操作次数的数据处理方法，所述方法包括：

计算设备在接收客户端发起的涉及分位数计算的业务请求后，获取存储在数据库中的待进行分位数计算的多个待处理数据；

计算设备将各待处理数据划分在预设的多个区间内；

计算设备确定各区间内的待处理数据的近似值；

计算设备根据所述近似值针对所述数据库执行I/O操作，确定对应于所述待处理数据的分位数；

在将各待处理数据划分在预设的多个区间内之前，所述方法还包括：

针对获取到的所述各待处理数据进行采样，生成多个样本数据；

将各样本数据划分在预设的多个区间内；

确定划分后的样本数据对应的信息熵，且该信息熵不大于设定阈值。

2.如权利要求1所述的方法，针对获取到的所述各待处理数据进行采样，具体包括：

按照预设采样比例，针对获取到的所述各待处理数据进行放回采样。

3.如权利要求1所述的方法，将各样本数据划分在预设的多个区间内，具体包括：

确定各样本数据对应的数值；

根据所述各样本数据的数值，将所述各样本数据划分在预设的多个区间内。

4.如权利要求1所述的方法，确定划分后的样本数据对应的信息熵，具体包括：

针对每一区间，统计该区间中的样本数据在全部样本数据中的占比，作为该区间的信息概率；

根据确定出的每一区间的信息概率，确定样本数据对应的信息熵。

5.如权利要求1所述的方法，将各待处理数据划分在预设的多个区间内，具体包括：

确定各待处理数据对应的数值；

根据所述各待处理数据的数值，将所述各待处理数据划分在预设的多个区间内。

6.如权利要求1所述的方法，确定各区间内的待处理数据的近似值，具体包括：

针对任一区间，确定该区间的端点值，计算所述端点值的均值，并确定为划分在该区间内的待处理数据所对应的近似值；或

针对任一区间，统计该区间内的各待处理数据的数值，计算各待处理数据的均值，并确定为划分在该区间内的待处理数据所对应的近似值。

7.如权利要求1所述的方法，根据所述近似值，确定对应于所述待处理数据的分位数，具体包括：

针对每一区间，确定划分在该区间中的待处理数据在所有待处理数据中的累计占比；

确定所需计算的分位数所对应的分位点；

确定所述分位点所匹配的累计占比，并确定该累计占比所对应的区间；

将确定出的、对应于该区间的近似值，确定为所需计算的分位数的近似值。

8.一种在计算分位数过程中减少对数据库的I/O操作次数的数据处理装置，所述装置包括：

数据获取模块，在接收客户端发起的涉及分位数计算的业务请求后，获取存储在数据库中的待进行分位数计算的多个待处理数据；

划分模块，将各待处理数据划分在预设的多个区间内；

近似值确定模块，确定各区间内的待处理数据的近似值；

分位数计算模块，根据所述近似值针对所述数据库执行I/O操作，确定对应于所述待处理数据的分位数；

所述装置还包括：数据分布检测模块，针对获取到的所述各待处理数据进行采样，生成多个样本数据，将各样本数据划分在预设的多个区间内，确定划分后的样本数据对应的信息熵，且该信息熵不大于设定阈值。

9.如权利要求8所述的装置，所述数据分布检测模块，按照预设采样比例，针对获取到的所述各待处理数据进行放回采样。

10.如权利要求8所述的装置，所述数据分布检测模块，确定各样本数据对应的数值，根据所述各样本数据的数值，将所述各样本数据划分在预设的多个区间内。