[发明专利]一种数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

按照预定时间长度划分数据库，并指定所写入数据的抓取起始时刻；

当数据库进入到抓取期时，将抓取到的数据写入到数据库中，抓取完成后对下一进入到抓取期的数据库进行写入；

当数据库进入到处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到处理期的数据库中的数据进行本地处理；若在一个处理期内，配置和使用一个或多个处理器，每个处理器对应一个业务功能；若在某一个处理期内不使用任何处理器，所述处理期只作为时间间隔，以等待所述数据库进入下一个处理期；通过接口设置处理器输入的时间偏移量，所述时间偏移量为非负时间值，默认为0；

在本地处理完成后，导出数据库中的数据；

所述当数据库进入到处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到处理期的数据库中的数据进行本地处理之前，所述数据处理方法还包括：

当数据库进入到冷却期时，对所述数据库进行冷却处理，以在需要时提供继续抓取和为进入处理期进行准备；其中，处于冷却期的数据库设置为可写入状态；

所述处理期设置有多个，相应的，所述当数据库进入到处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到处理期的数据库中的数据进行本地处理包括：

当数据库进入到当前处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到当前处理期的数据库中的数据进行本地处理；

当数据库进入到下一处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到下一处理期的数据库中的数据进行本地处理；

所述对所述数据库中的数据进行本地处理包括：

确定数据库中所需导出的数据，并对所需导出的数据进行复制；

所述确定数据库中所需导出的数据包括：确定数据库中不需导出的数据，并将数据库中除不需导出之外的数据确定为所需导出的数据；其中确定数据库中不需导出的数据包括确定数据库中的冗余数据、确定数据库中的无用数据和确定数据库中转换数据维度可剔除的数据中的一种或几种；

所述导出数据库中的数据之后，所述数据处理方法还包括：

将导出的数据上传至云端，进行数据建模和AI分析，并删除本地导出的数据和/或对应数据库。

2.一种数据处理装置，其特征在于，包括：

划分模块，用于按照预定时间长度划分数据库，并指定所写入数据的抓取起始时刻；

写入模块，用于当数据库进入到抓取期时，将抓取到的数据写入到数据库中，抓取完成后对下一进入到抓取期的数据库进行写入；

本地处理模块，用于当数据库进入到处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到处理期的数据库中的数据进行本地处理；若在一个处理期内，配置和使用一个或多个处理器，每个处理器对应一个业务功能；若在某一个处理期内不使用任何处理器，所述处理期只作为时间间隔，以等待所述数据库进入下一个处理期；通过接口设置处理器输入的时间偏移量，所述时间偏移量为非负时间值，默认为0；

数据导出模块，用于在本地处理完成后，导出数据库中的数据；

冷却模块，用于当数据库进入到冷却期时，对所述数据库进行冷却处理，以在需要时提供继续抓取和为进入处理期进行准备；其中，处于冷却期的数据库设置为可写入状态；

所述处理期设置有多个，相应的，所述本地处理模块包括：

当前处理单元，用于当数据库进入到当前处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到当前处理期的数据库中的数据进行本地处理；

下一处理单元，用于当数据库进入到下一处理期时，对所述数据库中的数据进行本地处理，处理完成后对下一进入到下一处理期的数据库中的数据进行本地处理；

所述本地处理模块包括：

确定数据库中所需导出的数据，并对所需导出的数据进行复制；

所述确定数据库中所需导出的数据包括：确定数据库中不需导出的数据，并将数据库中除不需导出之外的数据确定为所需导出的数据；其中确定数据库中不需导出的数据包括确定数据库中的冗余数据、确定数据库中的无用数据和确定数据库中转换数据维度可剔除的数据中的一种或几种；

所述导出数据库中的数据之后，所述数据处理装置还包括：

将导出的数据上传至云端，进行数据建模和AI分析，并删除本地导出的数据和/或对应数据库。