[发明专利]数据同步方法、装置、计算设备及计算机存储介质

权利要求书

1.一种数据同步方法，包括：

接收数据定制请求，确定与所述数据定制请求相对应的数据定制规则；

按照所述数据定制规则，对来自源端的初始源数据进行定制化处理，得到定制源数据；

将所述定制源数据同步至目标端；

所述接收数据定制请求的步骤之前，还包括：预先设置多个分别对应于不同类型的数据定制请求的数据定制接口；

则所述接收数据定制请求，确定与所述数据定制请求相对应的数据定制规则的步骤具体包括：

接收用户通过所述数据定制接口触发的数据定制请求，当接收到数据定制请求时，向资源集群申请资源队列，以供对来自源端的初始源数据进行数据同步，根据所述数据定制请求中包含的接口类型确定所述数据定制请求的类型；

根据所述数据定制请求的类型确定与所述数据定制请求相对应的数据定制规则；

所述对来自源端的初始源数据进行定制化处理的步骤之前，所述方法还包括：

根据初始源数据来源的业务的优先级，设置对所述初始源数据进行数据同步的限制带宽；

其中，所述初始源数据为流式数据和/或批量数据。

2.根据权利要求1所述的方法，其中，所述数据定制接口对应的数据定制请求的类型包括以下至少一种：过滤请求、转换请求、聚合请求和/或分流请求。

3.根据权利要求1所述的方法，其中，所述接收数据定制请求，确定与所述数据定制请求相对应的数据定制规则的步骤具体包括：

接收用户通过预设的自定义接口触发的数据定制请求，获取与所述数据定制请求相对应的自定义规则，将所述自定义规则确定为与所述数据定制请求相对应的数据定制规则。

4.根据权利要求3所述的方法，其中，所述接收用户通过预设的自定义接口触发的数据定制请求的步骤之前，进一步包括：预先设置公共函数库，所述公共函数库中的各个公共函数用于通过所述自定义接口进行调用；

则获取与所述数据定制请求相对应的自定义规则的步骤具体包括：确定与所述数据定制请求相对应的公共函数，根据所述公共函数确定所述自定义规则。

5.根据权利要求1-4任一所述的方法，其中，当所述数据定制规则为分流规则时，所述对来自源端的初始源数据进行定制化处理，得到定制源数据的步骤具体包括：

按照所述分流规则将所述初始源数据划分为至少两组数据；

则所述将所述定制源数据同步至目标端的步骤具体包括：将所述至少两组数据分别同步至对应的目标端。

6.根据权利要求1-4任一项所述的方法，其中，当所述数据定制规则为过滤规则时，所述对来自源端的初始源数据进行定制化处理，得到定制源数据的步骤具体包括：

按照所述过滤规则对所述初始源数据的第一字段进行过滤处理，得到滤除第一字段的字段内容后的定制源数据；

则所述将所述定制源数据同步至目标端的步骤具体包括：将所述滤除第一字段的字段内容后的定制源数据同步至目标端。

7.根据权利要求1-4任一项所述的方法，其中，当所述数据定制规则为转换规则时，所述对来自源端的初始源数据进行定制化处理，得到定制源数据的步骤具体包括：

按照所述转换规则对所述初始源数据的第二字段进行转换处理，得到第二字段的字段内容格式转换为预设格式后的定制源数据；

则所述将所述定制源数据同步至目标端的步骤具体包括：将所述第二字段的字段内容格式转换为预设格式后的定制源数据同步至目标端。

8.根据权利要求1-4任一项所述的方法，其中，当所述数据定制规则为聚合规则时，所述对来自源端的初始源数据进行定制化处理，得到定制源数据的步骤具体包括：

按照所述聚合规则对所述初始源数据的至少两个第三字段进行聚合处理，得到至少两个第三字段的字段内容聚合后的定制源数据；

则所述将所述定制源数据同步至目标端的步骤具体包括：将所述至少两个第三字段的字段内容聚合后的定制源数据同步至目标端。