[发明专利]数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种业务变化数据的数据处理方法、装置、计算机设备和存储介质，所述方法包括：获取业务基础数据；对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作；根据动因数量对业务动因通道的动因数据进行源数据处理。上述方法克服了传统技术中各业务动因通道采用单一固定的数据处理方式造成的数据链路的数据积压问题以及资源利用率低的问题，提高了数据链路的数据处理资源利用率。

技术领域

本申请涉及源数据处理技术领域，特别是涉及一种业务变化数据的数据处理方法、装置、计算机设备和存储介质。

背景技术

对于互联网的海量数据，平台寻源系统计算出的最优货源数据量目前有几百亿，有些商家业务调整会导致每天变化的源数据的数据量从几百万到几十亿不等，这些变化的数据必须及时通过数据链路下发到搜索系统。但是整个数据链路的消费能力有限，容易造成数据积压。数据积压将导致源数据不能得到及时处理，对一整条数据链路造成不稳定的隐患。同时，有些商家业务调整很少，导致了某些计算通道的资源利用率很低，反而造成了资源浪费。

发明内容

基于此，有必要针对上述技术问题，提供一种能够调整数据链路中的源数据的处理量从而提高数据链路的数据处理资源利用率的业务变化数据的数据处理方法、装置、计算机设备和存储介质。

一种业务变化数据的数据处理方法，该方法包括：获取业务基础数据；对业务基础数据进行业务动因分析，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，动因用于表示引起业务数据发生变化的操作；根据动因数量对业务动因通道的动因数据进行源数据处理。

在其中一个实施例中，业务动因通道为多个，根据业务动因分析结果确定业务动因通道的动因数据以及动因数量，包括：根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量；根据动因数量对业务动因通道的动因数据进行源数据处理，包括：根据各业务动因通道的动因数量对各业务动因通道的动因数据进行源数据处理。

在其中一个实施例中，一种业务变化数据的数据处理方法还包括：在内存中设置关联容器，关联容器内设置有键值对，键值对的键与业务动因通道的动因数据的时间关联，键值对的值与业务动因通道以及业务动因通道的动因数量关联；根据业务动因分析结果确定各业务动因通道的动因数据以及动因数量，包括：当根据业务分析结果确定业务基础数据中任一基础数据属于任一业务动因通道的动因数据时，将键值对的值中任一业务动因通道的动因数量的值进行加一，以及将键值对的键关联的时间更新为键值对的值的修改时间；根据键值对的值中各业务动因通道的动因数量确定各业务动因通道的动因数量，并根据键值对的键关联的时间确定各业务动因通道的动因数据。

在其中一个实施例中，一种业务变化数据的数据处理方法还包括：按照第一预设时间获取内存的关联容器中各业务动因通道对应的时间以及动因数量，将获取到的各业务动因通道对应的时间以及动因数量存储到数据库。

在其中一个实施例中，将读取到的各业务动因通道对应的时间以及动因数量存储到数据库之后，还包括：按照第二预设时间清空内存中的各业务动因通道对应的时间以及动因数量。

在其中一个实施例中，根据动因数量对业务动因通道的动因数据进行源数据处理，包括：从数据库中读取预设数量的业务动因通道中各业务动因通道的动因数量；根据各业务动因通道的动因数量计算各业务动因通道的动因占比；根据各业务动因通道的动因占比确定各业务动因通道的算子数量；根据算子数量对各业务动因通道的动因数据进行源数据处理。

在其中一个实施例中，关联容器包括ConcurrentHashMap容器，数据库包括Hbase数据库；

优选地，一种业务变化数据的数据处理方法还包括：将各业务动因通道的动因数据、动因数量以及动因占比分别进行显示。