[发明专利]一种大数据架构处理数据的方法、装置、设备及存储介质

权利要求书

1.一种大数据架构处理数据的方法，其特征在于，其应用于大数据架构，所述架构配置有多个处理函数，所述多个处理函数均具有相同的核心代码模块，所述方法包括：

调用所述多个处理函数对获取的增量数据进行预设处理，得到处理结果；

将所述处理结果存储至预设存储层。

2.根据权利要求1所述的方法，其特征在于，所述多个处理函数包括实时处理函数及离线处理函数；

所述调用多个处理函数对获取的增量数据进行预设处理，包括：

将获取的所述增量数据进行备份，并根据离线处理周期将备份后的增量数据进行保存以得到离线数据；

调用所述实时处理函数及所述离线处理函数分别对备份后的增量数据及所述离线数据进行预设处理，得到实时处理结果以及离线处理结果；所述实时处理结果及所述离线处理结果即为所述处理结果。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

所述架构包括有公共逻辑服务模块，通过所述公共逻辑服务模块预先将多个初始处理函数进行统一封装，得到具有相同核心代码模块的多个处理函数；

通过所述公共逻辑服务模块保存封装后的多个处理函数，以得到待调用的所述多个处理函数。

4.根据权利要求2所述的方法，其特征在于，所述调用实时处理函数及离线处理函数分别对备份后的增量数据及所述离线数据进行预设处理，得到实时处理结果以及离线处理结果之后，所述将处理结果存储至预设存储层之前，所述方法还包括：

将所述实时处理结果及所述离线处理结果进行转换，得到相同数据格式的实时处理结果及离线处理结果，所述相同数据格式的实时处理结果及离线处理结果即为待存入所述预设存储层的处理结果。

5.根据权利要求2所述的方法，其特征在于，所述将处理结果存储至预设存储层之后，所述方法还包括：

通过所述预设存储层确定所述离线处理结果及实时处理结果的时间线；

通过所述离线处理结果对与该离线处理结果具有相同时间线的实时处理结果进行替换。

6.一种大数据架构处理数据的装置，其特征在于，其包括有大数据架构，所述架构配置有多个处理函数，所述多个处理函数具有相同的核心代码模块，所述装置包括：

调用模块，用于调用所述多个处理函数对获取的增量数据进行预设处理，得到处理结果；

存储模块，用于将所述处理结果存储至预设存储层。

7.根据权利要求6所述的装置，其特征在于，所述调用模块包括：

备份单元，用于在所述多个处理函数包括实时处理函数及离线处理函数时，将获取的所述增量数据进行备份，并根据离线处理周期将备份后的增量数据进行保存以得到离线数据；

调用单元，用于调用所述实时处理函数及所述离线处理函数分别对备份后的增量数据及所述离线数据进行预设处理，得到实时处理结果以及离线处理结果；所述实时处理结果及所述离线处理结果即为所述处理结果。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括：

封装模块，用于在所述架构包括有公共逻辑服务模块时，通过所述公共逻辑服务模块将多个初始处理函数进行统一封装，得到具有相同核心代码模块的多个处理函数；

保存模块，用于通过所述公共逻辑服务模块保存封装后的多个处理函数，以得到待调用的所述多个处理函数。

9.根据权利要求7所述的装置，其特征在于，所述装置还包括：

转换模块，用于在所述调用实时处理函数及离线处理函数分别对备份后的增量数据及所述离线数据进行预设处理，得到实时处理结果以及离线处理结果之后，所述将处理结果存储至预设存储层之前，将所述实时处理结果及所述离线处理结果进行转换，得到相同数据格式的实时处理结果及离线处理结果，所述相同数据格式的实时处理结果及离线处理结果即为待存入所述预设存储层的处理结果。