[发明专利]数据处理方法、装置、系统及计算机存储介质

权利要求书

1.一种数据处理方法，其包括：

获取对于目标对象的请求信息；

根据所述请求信息生成对应的所述目标对象的至少两个任务块，所述至少两个任务块用于指示获取所述目标对象的数据块；

将所述至少两个任务块加入预先设置的多个预读取队列中；

利用多个独立线程分别处理所述多个预读取队列，并行获取所述目标对象的数据块，所述多个预读取队列与所述多个独立线程一一对应。

2.根据权利要求1所述的方法，其中，所述根据所述请求信息生成对应的所述目标对象的至少两个任务块，包括：

将所述目标对象的请求信息进行分割和合并，得到预设大小的所述至少两个任务块。

3.根据权利要求2所述的方法，其中，所述目标对象的请求信息包括元数据的描述信息、索引数据的描述信息以及原始数据的描述信息；

所述将所述目标对象的请求信息进行分割和合并，得到预设大小的所述至少两个任务块，包括：

对所述元数据的描述信息、所述索引数据的描述信息进行分割得到预设大小的元数据的任务块以及索引数据的任务块；

对所述原始数据的描述信息进行合并，得到所述预设大小的原始数据的任务块。

4.根据权利要求3所述的方法，其中，所述预读取队列包括：元数据预读取队列、索引数据预读取队列以及原始数据预读取队列；

所述将所述至少两个任务块加入预先设置的多个预读取队列中，包括：

将至少一个所述元数据的任务块加入所述元数据预读取队列；将至少一个所述索引数据的任务块加入所述索引数据预读取队列；将至少一个所述原始数据的任务块加入所述原始数据预读取队列。

5.根据权利要求4所述的方法，其中，所述目标对象包括元数据、索引数据以及原始数据；

所述根据所述预读取队列中预设数量的所述任务块，利用所述多个预读取队列分别对应的多个独立线程，并行获取目标对象的数据块，包括：

利用所述元数据预读取队列对应的第一线程获取所述任务块对应的元数据的数据块；利用所述索引数据对应的第二线程获取所述任务块对应的所述索引数据的数据块；利用所述原始数据对应的第三线程获取所述任务块对应的原始数据的数据块。

6.根据权利要求1所述的方法，其中，所述根据所述请求信息生成对应的所述目标对象的至少两个任务块，包括：

根据所述请求信息在缓存中查找所述目标对象；

在所述缓存中没有查找到所述目标对象时，根据所述目标对象的请求信息生成对应的所述至少两个任务块。

7.根据权利要求1所述的方法，其中，所述利用多个独立线程分别处理所述多个预读取队列，并行获取所述目标对象的数据块，包括：

利用所述多个独立线程向多个节点设备分别发送所述多个预读取队列中的所述任务块；

接收所述多个节点设备并行传输的所述目标对象的数据块。

8.根据权利要求1-7任一项所述的方法，其中，所述方法还包括：

当所述预读取队列中的任务块的数量达到预设阈值时，将新产生的任务块丢弃。

9.一种数据处理装置，包括：

获取模块，用于获取对于目标对象的请求信息；

任务块适配模块，用于根据所述请求信息生成对应的所述目标对象的至少两个任务块，所述至少两个任务块用于指示获取所述目标对象的数据块；

预读取模块，用于将所述至少两个任务块加入预先设置的多个预读取队列中；

数据块加载模块，用于利用多个独立线程分别处理所述多个预读取队列，并行获取所述目标对象的数据块，所述多个预读取队列与所述多个独立线程一一对应。

10.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-8中任一项所述的数据处理方法对应的操作。