[发明专利]用于处理数据的方法、系统、装置及存储介质

权利要求书

1.一种用于处理数据的方法，其特征在于，应用于数据仓库，所述数据仓库依次包括数据准备层、细节数据层、数据服务层以及应用数据服务层，所述方法包括：

在数据准备层，触发爬虫抓取存储在存储设备中的原始数据的元数据；

在细节数据层，监听所述数据准备层的抓取是否成功，在所述数据准备层抓取成功的情况下，触发本层基于所述数据准备层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，并监听本层执行作业是否成功，在本层执行作业成功的情况下，触发爬虫抓取所述存储设备中本层的执行结果的元数据；

在数据服务层，监听所述细节数据层的抓取是否成功，在所述细节数据层抓取成功的情况下，触发本层基于所述细节数据层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，并监听本层执行作业是否成功，在本层执行作业成功的情况下，触发爬虫抓取所述存储设备中本层的执行结果的元数据；

在应用数据服务层，监听所述数据服务层的抓取是否成功，在所述数据服务层抓取成功的情况下，触发本层基于所述数据服务层的执行结果的元数据执行作业，以得到所述原始数据对应的业务指标数据。

2.根据权利要求1所述的方法，其特征在于，所述触发本层基于所述数据准备层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，包括：

触发执行对所述数据准备层抓取的元数据进行清洗的作业，以得到清洗后的数据；

将所述清洗后的数据输出至所述存储设备。

3.根据权利要求2所述的方法，其特征在于，所述触发本层基于所述细节数据层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，包括：

触发执行对所述细节数据层抓取的元数据进行聚合的作业，以得到宽表；

将所述宽表输出至所述存储设备。

4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述存储设备为云计算服务AWS的存储单元S3。

5.根据权利要求4所述的方法，其特征在于，还包括：

将所述业务指标数据输出至所述存储单元S3和业务数据库。

6.根据权利要求5所述的方法，其特征在于，还包括：

在应用数据服务层，监听本层执行作业是否成功；

在本层执行作业成功的情况下，触发爬虫抓取所述存储单元S3中所述业务指标数据的元数据；

将所述业务指标数据的元数据输出至所述业务数据库。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在数据准备层，通过定时触发器触发第一爬虫抓取所述原始数据的元数据；

在细节数据层，通过第一触发器监听所述数据准备层的抓取是否成功，在所述数据准备层抓取成功的情况下，触发本层基于所述数据准备层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，并通过第二触发器监听本层执行作业是否成功，在本层执行作业成功的情况下，触发第二爬虫抓取所述存储设备中本层的执行结果的元数据；

在数据服务层，通过第三触发器监听所述细节数据层的抓取是否成功，在所述细节数据层抓取成功的情况下，触发本层基于所述细节数据层抓取的元数据执行作业，在得到所述本层的执行结果后输出至所述存储设备，并通过第四触发器监听本层执行作业是否成功，在本层执行作业成功的情况下，触发第三爬虫抓取所述存储设备中本层的执行结果的元数据；

在应用数据服务层，通过第五触发器监听所述数据服务层的抓取是否成功，在所述数据服务层抓取成功的情况下，触发本层基于所述数据服务层的执行结果的元数据执行作业，以得到所述原始数据对应的业务指标数据。

8.根据权利要求1所述的方法，其特征在于，还包括：

创建所述数据仓库的工作流；

确定所述工作流中爬虫对应的节点的颜色；

在所述颜色为第一预设颜色的情况下，确定所述爬虫抓取成功；

在所述颜色为第二预设颜色的情况下，确定所述爬虫抓取失败。