[发明专利]数据的处理方法和装置、存储介质及电子装置

说明书

本发明公开了一种数据的处理方法和装置、存储介质及电子装置。其中，该方法包括：通过获取N路源数据以及标识信息，其中，N路源数据对应不同类型的数据，标识信息用于分别表示N路源数据中的每路源数据的属性，N为大于1的整数；对每路数据配置统一的规则；将配置后的每路数据发送至与标识信息对应的目标接口，达到了可以将多路数据处理任务变成一个任务进行管理目的，从而减少了计算机资源浪费、防止多路数据处理任务之间进行争抢资源情况的出现的技术效果，进而解决了现有技术中，对多路数据进行处理，导致计算机资源浪费的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种数据的处理方法和装置、存储介质及电子装置。

背景技术

随着现在大数据技术的普及和传播，更多的企业越来越看中对数据的分析业务。而对数据分析的前提就是对这些数据的收集。

现有技术中，这些数据的收集通常都是实时的流式处理收集，如果有多个数据源的话，那么就会启动多个流式任务进行数据的收集。如针对imsi数据的收集，就会向计算机申请一部分的资源，然后启动一个流式任务，这个任务需要一直进行着，也就是说占有的计算机资源会一直占有到手动停止该任务时。那么此时还有针对mac的数据需要收集，此时也会如上流程。那么这俩个任务此时可能就会占有一半的计算机资源。如果再有一个数据源卡扣需要收集时，可能此时计算机的资源就不够了，多个任务之间就会出现争抢资源情况的出现，影响计算效率。多个任务的启动对此时任务的管理也会造成负担，并且多个任务的代码实现、重复劳动增加一线程序员的工作负担。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据的处理方法和装置、存储介质及电子装置，以至少解决现有技术中，对多路数据进行处理，导致计算机资源浪费的技术问题。

根据本发明实施例的一个方面，提供了一种数据的处理方法，包括：获取N路源数据以及标识信息，其中，所述N路源数据对应不同类型的数据，所述标识信息用于分别表示所述N路源数据中的每路源数据的属性，N为大于1的整数；对所述每路数据配置统一的规则；将配置后的所述每路数据发送至与所述标识信息对应的目标接口。

进一步地，所述对所述每路数据配置统一的规则包括：对所述每路数据通过正则表达式配置统一的规则。

进一步地，所述获取N路源数据以及标识信息之前，所述方法还包括：所述N路中的每路源数据分别存储在对应不同的数据库中；从所述数据库中获取所述N路源数据以及所述标识信息。

进一步地，所述将配置后的所述每路数据发送至与所述标识信息对应的目标接口之后，所述方法还包括：根据所述每路数据对所述目标接口进行重写；通过重写后的目标接口处理所述数据，并将处理的所述数据保存至目标数据库中。

根据本发明实施例的另一方面，还提供了一种数据的处理装置，包括：第一获取单元，用于获取N路源数据以及标识信息，其中，所述N路源数据对应不同类型的数据，所述标识信息用于分别表示所述N路源数据中的每路源数据的属性，N为大于1的整数；配置单元，用于对所述每路数据配置统一的规则；发送单元，用于将配置后的所述每路数据发送至与所述标识信息对应的目标接口。

进一步地，上述所述配置单元包括：配置模块，用于对所述每路数据通过正则表达式配置统一的规则。

进一步地，上述所述装置还包括：存储单元，用于所述获取N路的源数据以及标识信息之前，所述N路中的每路源数据分别存储在对应不同的数据库中；第二获取单元，用于从所述数据库中获取所述N路源数据以及所述标识信息。

进一步地，上述所述装置还包括：重写单元，用于将配置后的所述每路数据发送至与所述标识信息对应的目标接口之后，根据所述每路数据对所述目标接口进行重写；保存单元，用于通过重写后的目标接口处理所述数据，并将处理的所述数据保存至目标数据库中。