[发明专利]一种多源异构数据的处理方法及装置

权利要求书

1.一种多源异构数据的处理方法，其特征在于，所述方法包括如下步骤：

数据处理任务定时从缓存中获取数据处理方法，其中，所述数据处理方法根据数据处理模板以及实时获取到的参数生成；

判断从缓存中获取到的所述数据处理方法与所述数据处理任务对应的当前数据处理方法是否一致，若不一致，则将从缓存获取到的所述数据处理方法作为当前数据处理方法；

使用所述当前数据处理方法对待处理数据进行处理，获取目标格式的数据。

2.根据权利要求1所述的多源异构数据的处理方法，其特征在于，所述使用所述当前数据处理方法对待处理数据进行处理，获取目标格式的数据包括：

解析所述当前数据处理方法，至少获取数据来源信息以及处理规则；

根据所述数据来源信息从所述分布式消息队列中获取对应的待处理数据；

根据所述处理规则对所述待处理数据进行计算，获取目标格式的数据。

3.根据权利要求2所述的多源异构数据的处理方法，其特征在于，所述使用所述当前数据处理方法对待处理数据进行处理，获取目标格式的数据还包括：

识别所述待处理数据的数据结构，采用与所述数据结构对应的处理规则对所述待处理数据进行计算，获取目标格式的数据。

4.根据权利要求1至3任一所述的多源异构数据的处理方法，其特征在于，所述方法还包括：

获取所述当前数据处理方法中包含的目标源信息，将所述目标格式的数据发送至所述目标源。

5.根据权利要求1至3任一所述的多源异构数据的处理方法，其特征在于，使用所述当前数据处理方法对待处理数据进行处理前，所述方法还包括：

判断所述待处理数据的数据格式是否满足预设要求。

6.一种多源异构数据的处理装置，其特征在于，所述装置包括：

方法获取模块，用于数据处理任务定时从缓存中获取数据处理方法，其中，所述数据处理方法根据数据处理模板以及实时获取到的参数生成；

方法判断模块，用于判断从缓存中获取到的所述数据处理方法与所述数据处理任务对应的当前数据处理方法是否一致；

方法更新模块，用于将从缓存获取到的所述数据处理方法作为当前数据处理方法；

数据处理模块，用于使用所述当前数据处理方法对待处理数据进行处理，获取目标格式的数据。

7.根据权利要求6所述的多源异构数据的处理装置，其特征在于，所述数据处理模块包括：

方法解析单元，用于解析所述当前数据处理方法，至少获取数据来源信息以及处理规则；

数据获取单元，用于根据所述数据来源信息从所述分布式消息队列中获取对应的待处理数据；

数据计算单元，用于根据所述处理规则对所述待处理数据进行计算，获取目标格式的数据。

8.根据权利要求7所述的多源异构数据的处理装置，其特征在于，所述数据处理模块还包括：

结构识别单元，用于识别所述待处理数据的数据结构；

所述数据计算单元还用于采用与所述数据结构对应的处理规则对所述待处理数据进行计算，获取目标格式的数据。

9.根据权利要求6至8任一所述的多源异构数据的处理装置，其特征在于，所述装置还包括：

数据发送模块，用于获取所述当前数据处理方法中包含的目标源信息，将所述目标格式的数据发送至所述目标源。

10.根据权利要求6至8任一所述的多源异构数据的处理方法，其特征在于，所述装置还包括：

格式判断模块，用于判断所述待处理数据的数据格式是否满足预设要求。