[发明专利]一种数据扫描的方法及装置

说明书

技术领域

本发明涉及数据存储与检索技术领域，尤其涉及一种数据扫描的方法及装置。

背景技术

在计算机系统中，各种字母、数字符号的组合、语音、图形、图像等统称为数据，随着社交网络、物联网等技术的发展，数据以指数的速率在不断的增长。数据规模的增大对数据的检索也提出了更高的要求。

根据一定策略将大规模的数据表中的数据划分成多个物理上或逻辑上的小表，存储在不同的存储单元中，每个存储单元就是一个分区，将需要扫描的分区分配给空闲的工作者即处理资源，如CPU、线程、进程和主机等处理资源，由这些工作者完成对应分区的扫描。

然而，上述检索技术虽然可以找到对应的所需的数据，但当各个分区的数据规模差距较大时，易使一个或多个工作者扫描时间过长，从而导致整个检索过程的等待时间过长。

发明内容

本发明实施例所要解决的技术问题在于，提供一种数据扫描的方法及装置，可使得整个检索扫描过程等待的时间缩短。

为了解决上述技术问题，本发明第一方面提供了一种数据扫描的方法，包括：

分析接收到的数据扫描请求中携带的数据扫描条件，确定至少一个用于存储数据的目标数据分区；

获取所述目标数据分区的扫描代价，其中，所述扫描代价包括数据扫描的等待时间；

根据所述扫描代价，将所述目标数据分区分配给处理资源以执行并行数据扫描，并获取所述处理资源返回的扫描结果。

在第一种可能的实现方式中，在所述分析接收到的数据扫描请求中携带的数据扫描条件之前，还包括：

收集数据分区的统计信息，其中，所述统计信息包括所述数据分区的数据量和存储介质的访问性能；

根据所述统计信息中所述数据分区的数据量和存储介质的访问性能，获取并配置所述数据分区对应的扫描代价。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述收集数据分区的统计信息，包括：

扫描每个数据分区的所有数据，计算所述数据分区的数据量，或对所述数据分区的数据进行抽样以估算所述数据分区的数据量，或根据所述数据分区上次统计数据量之后该数据分区进行的数据操作估算当前的数据量；

预先配置所述数据分区存储介质访问的性能，或对所述数据分区执行至少一次的数据采样以确定所述数据分区存储介质访问的性能。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述收集数据分区的统计信息之前，还包括：

根据事件触发或定时触发收集数据分区统计信息的操作。

结合第一方面的实现方式，在第四种可能的实现方式中，所述根据所述扫描代价，将所述目标数据分区分配给处理资源执行并行扫描，包括：

根据每个目标数据分区的扫描代价，计算合理的目标数据分区作业组使得每组的扫描代价与所有作业组扫描代价的平均值之差在预定的范围内，

其中，所述作业组包含一个或多个所述目标数据分区的扫描；

将所述作业组分配给处理资源以执行并行扫描。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述根据所述扫描代价，将所述目标数据分区分配给处理资源以执行并行数据扫描，并获取所述处理资源返回的扫描结果之后，还包括：

将获取的所述处理资源的扫描结果发送给所述数据扫描请求的发起者。

相应地，本发明第二方面提供了一种数据扫描的装置，包括：

确定模块，用于分析接收到的数据扫描请求中携带的数据扫描条件，确定至少一个用于存储数据的目标数据分区；

第一获取模块，用于获取所述目标数据分区的扫描代价，其中，所述扫描代价包括数据扫描的等待时间；

扫描配置模块，用于根据所述扫描代价，将所述目标数据分区分配给处理资源以执行并行数据扫描，并获取所述处理资源返回的扫描结果。

在第一种可能的实现方式中，还包括：

收集模块，用于收集数据分区的统计信息，其中，所述统计信息包括所述数据分区的数据量和存储介质的访问性能；

第二获取模块，用于根据所述统计信息中所述数据分区的数据量和存储介质的访问性能，获取并配置所述数据分区对应的扫描代价。

结合第二方面第一种可能的实现方式，在第二种可能的实现方式中，所述收集模块包括：