[发明专利]一种数据预处理方法、装置及其存储介质

说明书

本发明公开了一种数据预处理方法、装置及其存储介质，该方法包括当预定的至少一个预调用触发条件触发时，从预设的数据源中获取与所述预调用触发条件具有共同数据特征的热点数据，其中，所述热点数据为预调用触发条件触发时数据源中待进行预处理的数据；对所述热点数据进行调用前的预处理；将预处理后的热点数据分配为多组数据；将分配后的多组数据分别根据预定规则存储在多个存储单元中。通过上述的方法对数据源中海量数据进行了分类，将有可能需要进行预处理的数据进行预先的预处理，并分别存储在不同的存储单元中，提供了一种在大数据处理中的高可用技术方案。解决了在数据处理量巨大的条件下，现有技术无法满足性能需求的技术问题。

技术领域

本发明涉及计算机领域，尤其是指一种数据预处理方法、装置及其存储介质。

背景技术

随着大数据的发展，数据处理的复杂程度不断提高。比如在电商领域，对支付数据和对应的期限数据需要进行海量数据的处理。以电商的白条业务为例，属于一款信贷产品，每笔交易、每一次领取优惠券、每次额度提升，都需要严格的风险控制。

在巨量的消费限额、历史单量、逾期天数等数据面前，不仅数据的处理量激增，还需要对这些数据进行预处理(流水中计算、统计汇总等)，以便用户调用或系统自动调用，但是现在的处理方式在高并发的交易时，无法满足性能上的要求。以今年双十一为例，来自整个交易链路的查询QPS已超过40W(即数据的调用)，而以标准物理机(128G内存，32核CPU)来看，性能测试得到的数据，仅可同时支持3000TPS和10000QPS，远远无法满足大促流量峰值的数据处理要求。

所以发明人发现现有技术中至少存在如下问题，由于数据处理量巨大状态下，现有技术无法满足性能需求的技术问题。

发明内容

本申请提供了一种数据预处理方法，该方法包括：

当预定的至少一个预调用触发条件触发时，从预设的数据源中获取与所述预调用触发条件具有共同数据特征的热点数据，其中，所述热点数据为预调用触发条件触发时数据源中待进行预处理的数据；

对所述热点数据进行调用前的预处理；

将预处理后的热点数据分配为多组数据；

将分配后的多组数据分别根据预定规则存储在多个存储单元中。

可选地，将分配后的多组数据分别根据预定规则存储在预建的多个存储单元中包括：

将预建的多个存储单元按第二预定方式分配为多个存储单元集群；

获取所述存储单元集群中的存储单元状态，其中，所述存储单元状态为存储单元是否可以存储热点数据；

根据所述存储单元状态按预定条件选取目标集群，其中，所述目标集群为多个所述存储单元集群中符合预定条件的集群；

将分配后的多组数据根据预定规则存储在所述目标集群的存储单元中。

可选地，所述将分配后的多组数据分别根据预定规则存储在预建的多个存储单元中，其中，所述存储单元用于数据的存储和读取步骤后，该方法还包括：

接收权限配置信息，其中，所述权限配置信息为获取所述存储单元中数据的权限配置；

获取所述权限配置信息的生效指令；

根据所述生效指令按所述权限配置信息对本地的权限配置进行更新。

可选地，所述将分配后的多组数据分别根据预定规则存储在预建的多个存储单元中步骤后，该方法还包括：

接收用于调用所述存储单元数据的调用指令；

根据本地的权限配置对所述调用指令进行识别，得到符合权限配置的调用指令；