[发明专利]一种数据预处理方法、装置及其存储介质

权利要求书

1.一种数据预处理方法，其特征在于，该方法包括：

当预定的至少一个预调用触发条件触发时，从预设的数据源中获取与所述预调用触发条件具有共同数据特征的热点数据，其中，所述热点数据为预调用触发条件触发时数据源中待进行预处理的数据；

对所述热点数据进行调用前的预处理；

将预处理后的热点数据分配为多组数据；

将分配后的多组数据分别根据预定规则存储在多个存储单元中。

2.根据权利要求1所述的数据预处理方法，其特征在于，将分配后的多组数据分别根据预定规则存储在预建的多个存储单元中包括：

将预建的多个存储单元按第二预定方式分配为多个存储单元集群；

获取所述存储单元集群中的存储单元状态，其中，所述存储单元状态为存储单元是否可以存储热点数据；

根据所述存储单元状态按预定条件选取目标集群，其中，所述目标集群为多个所述存储单元集群中符合预定条件的集群；

将分配后的多组数据根据预定规则存储在所述目标集群的存储单元中。

3.根据权利要求1或2所述的数据预处理方法，其特征在于，所述将分配后的多组数据分别根据预定规则存储在预建的多个存储单元中，其中，所述存储单元用于数据的存储和读取步骤后，该方法还包括：

接收权限配置信息，其中，所述权限配置信息为获取所述存储单元中数据的权限配置；

获取所述权限配置信息的生效指令；

根据所述生效指令按所述权限配置信息对本地的权限配置进行更新。

4.根据权利要求1或2所述的数据预处理方法，其特征在于，所述将分配后的多组数据分别根据预定规则存储在预建的多个存储单元中步骤后，该方法还包括：

接收用于调用所述存储单元数据的调用指令；

根据本地的权限配置对所述调用指令进行识别，得到符合权限配置的调用指令；

根据符合权限配置的调用指令调用所述存储单元中存储的数据。

5.根据权利要求1所述的数据预处理方法，其特征在于，所述存储单元具有多个存储相同数据的冗余存储单元。

6.一种数据预处理装置，其特征在于，该装置包括：

获取模块，用于当预定的至少一个预调用触发条件触发时，从预设的数据源中获取与所述预调用触发条件具有共同数据特征的热点数据，其中，所述热点数据为预调用触发条件触发时数据源中待进行预处理的数据；

预处理模块，用于对所述热点数据进行调用前的预处理；

分配模块，用于将预处理后的热点数据分配为多组数据；

存储模块，用于将分配后的多组数据分别根据预定规则存储在预建的多个存储单元中，其中，所述存储单元用于数据的存储和读取。

7.根据权利要求6所述的数据预处理装置，其特征在于，该装置还包括：

所述分配模块，用于将预建的多个存储单元按第二预定方式分配为多个存储单元集群；

所述获取模块，用于获取所述存储单元集群中的存储单元状态，其中，所述存储单元状态为存储单元是否可以存储热点数据；

选取模块，用于根据所述存储单元状态按预定条件选取目标集群，其中，所述目标集群为多个所述存储单元集群中符合预定条件的集群；

所述存储模块，用于将分配后的多组数据根据预定规则存储在所述目标集群的存储单元中。

8.根据权利要求6或7所述的数据预处理装置，其特征在于，该装置还包括：

接收模块，用于接收权限配置信息，其中，所述权限配置信息为获取所述存储单元中数据的权限配置；

所述获取模块，用于获取所述权限配置信息的生效指令；

更新模块，用于根据所述生效指令按所述权限配置信息对本地的权限配置进行更新。

9.一种数据预处理装置，其特征在于，所述装置包括：处理器和存储器；

所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如权利要求1至5中任一项所述的数据预处理方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5任一项所述的数据预处理方法的步骤。