[发明专利]一种多源异构数据的处理方法及装置

说明书

本发明公开了一种多源异构数据的处理方法及装置，该方法包括：数据处理任务定时从缓存中获取数据处理方法，其中，数据处理方法根据数据处理模板以及实时获取到的参数生成；判断从缓存中获取到的数据处理方法与数据处理任务对应的当前数据处理方法是否一致，若不一致，则将从缓存获取到的数据处理方法作为当前数据处理方法；使用当前数据处理方法对待处理数据进行处理，获取目标格式的数据。本发明通过模板化的数据处理规则配置，对来自不同数据源的异构数据进行统一的格式转换过滤，按配置模板输出标准数据，让多源异构实时流数据清洗可动态配置，业务无中断，无需硬编码，快速响应业务需求的变化。

技术领域

本发明涉及实时流数据处理技术领域，特别涉及一种多源异构数据的处理方法及装置。

背景技术

现代大型零售企业的业务流程都是非常复杂，处理环节繁多，这些流程分别在不同业务系统中完成，并且互相扭转，各个业务系统每天都会产生海量的业务数据，企业的运营部门需要及时的对这些业务流程进行统一监控，以便在业务流程出现问题时，能够在第一时间就能发现问题，为流程管理提供实时监控能力。

监控需要实时采集数据，这些数据可能来自于不同的业务系统，即这些数据的数据源可能不同，这里可以称之为多源实时流，同时这些不同数据源的数据结构可能差异很大，这里可以称之为异构数据。要对多源异构的实时流数据进行统一监控，就必须要对这些数据进行实时清洗，将数据转化为统一的标准化格式，上一层的应用才能进行事件处理与监控。

业务流程中的业务场景时常会发生变化，导致实时监控的规则也是需要经常修改，而底层采集的数据也会因此经常改变数据结构，数据清洗的编码也因此需要同时修改。异构数据的传统清洗方式都是进行硬编码清洗，每一次数据的结构发生改变都需要重新编写解析代码，然后重新发布程序，首先对于实时流而言重新发布都会导致一定程度的业务中断，其次每次硬编码都要投入专门的人力去做重复繁杂的开发工作。

因此，亟需提出一种新的多源异构数据的处理方案，已解决上述问题。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种多源异构数据的处理方法及装置，以克服现有技术中不能动态配置数据处理方法(如不能动态设置过滤条件、增减字段、数据输入)等问题。

为解决上述一个或多个技术问题，本发明采用的技术方案是：

一方面，提供了一种多源异构数据的处理方法，该方法包括如下步骤：

数据处理任务定时从缓存中获取数据处理方法，其中，所述数据处理方法根据数据处理模板以及实时获取到的参数生成；

判断从缓存中获取到的所述数据处理方法与所述数据处理任务对应的当前数据处理方法是否一致，若不一致，则将从缓存获取到的所述数据处理方法作为当前数据处理方法；

使用所述当前数据处理方法对待处理数据进行处理，获取目标格式的数据。

进一步的，所述使用所述当前数据处理方法对待处理数据进行处理，获取目标格式的数据包括：

解析所述当前数据处理方法，至少获取数据来源信息以及处理规则；

根据所述数据来源信息从所述分布式消息队列中获取对应的待处理数据；

根据所述处理规则对所述待处理数据进行计算，获取目标格式的数据。

进一步的，所述使用所述当前数据处理方法对待处理数据进行处理，获取目标格式的数据还包括：

识别所述待处理数据的数据结构，采用与所述数据结构对应的处理规则对所述待处理数据进行计算，获取目标格式的数据。

进一步的，所述方法还包括：

获取所述当前数据处理方法中包含的目标源信息，将所述目标格式的数据发送至所述目标源。