[发明专利]一种数据处理方法、装置、计算机设备和可读存储介质

说明书

本发明涉及智能决策技术领域，公开了一种数据处理方法：将业务数据按照业务节点进行划分，获得多个业务节点数据；根据多个用于执行数据分类的线程的数据处理能力，将获得的业务节点数据分批次存储至缓存；根据缓存当前存储的业务节点数据创建多个待分类任务；通过用于执行数据分类的线程从缓存当前存储的业务节点数据中，筛选出与待分类任务对应的业务节点数据作为待分类数据；将待分类数据输入至与待分类任务关联的分类模型，以确定待分类数据的类型；根据预定标识信息确定具有关联关系的待分类数据，并根据具有关联关系的待分类数据的类型，确定业务数据的属性。本发明还涉及区块链技术，将业务数据的属性存储在区块链中，可保证数据安全性。

技术领域

本发明涉及智能决策技术领域，具体涉及一种数据处理方法、装置、计算机设备和计算机可读存储介质。

背景技术

现有技术在对历史业务数据进行分类处理时，因历史业务数据具有时间线的先后顺序，采用单机单线程的模式进行数据处理，当数据量过大且对数据处理时限要求较为严格时，现有技术的处理能力不足。

针对现有技术中采用单机单线程处理业务数据时处理能力太差的技术问题，目前尚未提供有效的解决方案。

发明内容

本发明的目的在于提供了一种数据归集方法、装置、计算机设备和计算机可读存储介质，能够解决现有技术中采用单机单线程处理业务数据时处理能力太差的技术问题。

本发明的一个方面提供了一种数据处理方法，所述方法包括：将业务数据按照业务节点进行划分，获得多个业务节点数据；根据多个用于执行数据分类的线程的数据处理能力，将获得的业务节点数据分批次存储至缓存，其中，所述多个用于执行数据分类的线程依附在分布式集群的多个服务器节点上；根据所述缓存当前存储的业务节点数据创建多个待分类任务；通过一所述用于执行数据分类的线程从所述缓存当前存储的业务节点数据中，筛选出与一所述待分类任务对应的业务节点数据作为待分类数据；将所述待分类数据输入至与所述待分类任务关联的分类模型，以确定所述待分类数据的类型；根据所述待分类数据的预定标识信息确定具有关联关系的待分类数据，并根据具有关联关系的待分类数据的类型，确定所述业务数据的属性。

可选地，所述根据多个用于执行数据分类的线程的数据处理能力，将获得的业务节点数据分批次存储至缓存，包括：根据所述多个用于执行数据分类的线程的数据处理能力，确定最大可处理数据量；当获得的业务节点数据中的未处理业务节点数据的数据量大于所述最大可处理数据量时，根据预设提取规则从未处理业务节点数据中提取所述最大可处理数据量的数据存储至缓存；当获得的业务节点数据中未处理业务节点数据的数据量小于所述最大可处理数据量时，提取所有未处理业务节点数据存储至缓存。

可选地，在所述根据多个用于执行数据分类的线程的数据处理能力，将获得的业务节点数据分批次存储至缓存之前，所述方法还包括：在所述分布式集群的每个服务器节点中启动一线程池，其中，所述线程池包括多个线程；从启动的所有所述线程池中确定出所述多个用于执行数据分类的线程。

可选地，在所述将所述待分类数据输入至与所述待分类任务关联的分类模型，以确定所述待分类数据的类型之前，所述方法还包括：获取多条样本数据，其中，每条所述样本数据包括一分类样本的特征和所述分类样本的类型；计算各个类型的分类样本在所述多条样本数据中的出现频率；确定每个所述分类样本的特征所属的预定划分属性；计算在各个类型的分类样本条件下，属于各个所述预定划分属性的特征的条件概率；根据各个类型的分类样本的出现频率和属于各个所述预定划分属性的特征的条件概率，确定所述分类模型。