[发明专利]处理实时数据的方法和装置

说明书

本申请公开了一种处理实时数据的方法和装置。所述方法包括：检测外部是否对预先存储的萃取‑转置‑加载ETL规则进行更改；在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则；在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。

技术领域

本申请涉及信息处理领域，尤指一种处理实时数据的方法和装置。

背景技术

ETL(Extract-Transform-Load，萃取-转置-加载)用来描述将数据从来源端经过萃取(extract)、转置(transform)、加载(load)至目的端的过程。ETL常用在数据仓库，但其对象并不限于数据仓库。

在实时流数据处理过程中，在对数据的清洗及逻辑上的处理时，根据用户需求可能变动会比较频繁，但在这个过程中又希望在改变这种规则后能够快速生效，且减少因为规则变动带来的部署工作及时间成本。

发明内容

为了解决上述技术问题，本申请提供了一种处理实时数据的方法和装置，能够动态更新ETL规则。

为了达到本申请目的，本申请提供了一种处理实时数据的方法，包括：

检测外部是否对预先存储的萃取-转置-加载ETL规则进行更改；

在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则；

在接收到实时数据后，利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。

在一个示例性实施例中，所述在预先设置的存储空间内保存所述变更后的ETL规则之后，所述方法还包括：

判断所述变更后的ETL规则是否已成功更新到所述ETL规则库中，得到判断结果；

如果所述判断结果为已成功更新到所述ETL规则库中，则在所述存储空间内删除所述变更后的ETL规则。

在一个示例性实施例中，所述检测外部是否对预先存储的ETL规则进行更改，包括：

按照预先设置的时间策略，获取ETL规则文件的目录信息所在的文件的修改时间；

将获取到的修改时间与上一次获取的修改时间进行比较，得到比较结果；

根据比较结果，确定外部是否对所述ETL规则进行更改。

在一个示例性实施例中，所述利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据之前，所述方法还包括：

检测所述存储空间内是否存储有ETL规则；

如果检测所述存储空间内存储有ETL规则，再利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据。

在一个示例性实施例中，所述利用预先设置的ETL规则库和所述存储空间内的ETL规则，处理实时数据，包括：

在根据所述实时数据的数据类型匹配对应的ETL规则时，如果匹配到的ETL规则中存储在ETL规则库中的规则与存储在所述存储空间内的规则冲突时，利用所述存储在存储空间内的规则对所述实时数据进行处理。

为了达到本申请目的，本申请提供了一种处理实时数据的装置，包括处理器和存储器，其中存储器存储有计算机程序，所述处理器调用所述计算机程序以实现如下操作，包括：

检测外部是否对预先存储的ETL规则进行更改；

在检测到外部对所述ETL规则发生更改后，获取变更后的ETL规则，并在预先设置的存储空间内保存所述变更后的ETL规则；