[发明专利]一种数据处理方法、装置和存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

根据数据对象的分组索引信息，对属于同一个数据分组的各数据对象执行：根据各数据对象对应存储的处理条件，确定满足设定处理条件的目标数据对象；并

根据所述目标数据对象所对应存储的存储路径信息，并行处理属于同一个数据分组中的所述目标数据对象；

其中，所述分组索引信息由主索引信息和从索引信息组成；以及

按照以下方法确定所述数据对象的分组索引信息：

确定用户标识中任两位相邻位置的数值为所述主索引信息；

针对根据所述主索引信息确定出的数据分组所包含的数据对象，进一步根据数据对象的存储路径信息确定数据对象的从索引信息；

所述主索引信息用于根据用户标识对待处理的数据对象进行一次散列处理，所述从索引信息用于根据存储路径信息对待处理的数据对象进行二次散列处理。

2.如权利要求1所述的方法，其特征在于，所述分组索引信息根据所述数据对象对应的用户标识确定；或者所述分组索引信息根据所述数据对象的存储路径信息确定。

3.如权利要求1所述的方法，其特征在于，所述从索引信息为根据所述数据对象的存储路径确定出的MD5值确定。

4.如权利要求3所述的方法，其特征在于，所述分组索引信息中还包括数据处理规则和存储空间标识，以及所述数据对象为满足所述数据处理规则的数据对象，并且每一个存储空间标识对应一种数据处理规则。

5.如权利要求4所述的方法，其特征在于，采用三级索引结构存储所述分组索引信息，其中，每一级索引由散列索引和分区索引组成，一级索引的散列索引中存储有业务标识，一级索引的分区索引中存储有所述数据对象对应的用户标识和存储空间标识，一级索引的值针对不同的存储空间标识存储其对应的数据处理规则；二级索引的散列索引中存储有根据所述用户标识中任两位相邻位置的数值生成所述分组索引信息，二级索引的分区索引中存储有根据所述数据对象的存储路径确定出的MD5值确定所述数据对象对应的分组索引信息；三级索引的散列索引中存储有根据所述数据对象的存储路径确定出的MD5值确定所述数据对象对应的分组索引信息；三级索引的分区索引中存储有所述数据对象对应的处理条件和存储路径信息。

6.如权利要求5所述的方法，其特征在于，所述处理条件包括处理时间信息；以及

所述方法，还包括：

根据所述处理时间信息，按照处理时间的先后顺序对三级索引的分区索引进行排序。

7.一种数据处理装置，其特征在于，包括：

确定单元，用于根据数据对象的分组索引信息，对属于同一个数据分组的各数据对象执行：根据各数据对象对应存储的处理条件，确定满足设定处理条件的目标数据对象；

处理单元，用于根据所述目标数据对象所对应存储的存储路径信息，并行处理属于同一个数据分组中的所述目标数据对象；

其中，所述分组索引信息由主索引信息和从索引信息组成；以及

所述确定单元，还用于确定用户标识中任两位相邻位置的数值为所述主索引信息；以及针对根据所述主索引信息确定出的数据分组所包含的数据对象，进一步根据数据对象的存储路径信息确定数据对象的从索引信息；

所述主索引信息用于根据用户标识对待处理的数据对象进行一次散列处理，所述从索引信息用于根据存储路径信息对待处理的数据对象进行二次散列处理。

8.如权利要求7所述的装置，其特征在于，所述分组索引信息根据所述数据对象对应的用户标识确定；或者所述分组索引信息根据所述数据对象的存储路径信息确定。

9.如权利要求7所述的装置，其特征在于，所述主索引信息为所述用户标识中任两位相邻位置的数值；以及所述从索引信息为根据所述数据对象的存储路径确定出的MD5值确定。