[发明专利]一种实现定制化数据的方法和系统

权利要求书

1.一种实现定制化数据的方法，其特征在于，所述方法包括：

对采集到的初始数据源进行预处理，得到数据源；

根据所述数据源的落地方式将所述数据源存储至与所述数据源对应的第一数据模板中；

根据所述数据源的定制化需求对所述第一数据模板中的数据源进行定制化配置，得到定制化数据。

2.根据权利要求1所述的一种实现定制化数据的方法，其特征在于，所述方法还包括：

根据多个所述定制化数据确定多数据源数据；

根据加载需求对所述定制化数据和/或多数据源数据进行配置，得到对应的加载数据。

3.根据权利要求2所述的一种实现定制化数据的方法，其特征在于，所述方法还包括：

根据所述加载数据动态调整线程，并根据调整后的线程对所述加载数据进行加载。

4.根据权利要求2或3所述的一种实现定制化数据的方法，其特征在于，所述对所述定制化数据进行配置，得到所述定制化数据对应的加载数据之前，所述方法还包括：

根据待加载数据确定处理字段；

根据所述处理字段选取作用于所述制定化数据的处理规则，其中，

所述对所述定制化数据进行配置，得到所述定制化数据对应的加载数据，具体包括：

当所述制定化数据通过所述处理规则中的校验子规则的校验时，对所述定制化数据进行配置，得到所述定制化数据对应的加载数据。

5.根据权利要求1-3中任一项所述的一种实现定制化数据的方法，其特征在于，所述方法还包括：

当没有与所述数据源对应的所述第一数据模板时，则根据所述数据源建立与其对应的第二数据模板。

6.一种实现定制化数据的系统，其特征在于，所述系统包括：

采集引擎：用于对采集到的初始数据源进行预处理，得到数据源；

数据加工引擎：用于根据所述数据源的落地方式将所述数据源存储至与所述数据源对应的第一数据模板中；

格式配置器：用于根据所述数据源的定制化需求对所述第一数据模板中的数据源进行定制化配置，得到定制化数据。

7.根据权利要求6所述的一种实现定制化数据的系统，其特征在于，所述系统还包括：

数据清洗加工引擎：用于根据多个所述定制化数据确定多数据源数据，并根据加载需求对所述定制化数据和/或多数据源数据进行配置，得到对应的加载数据。

8.根据权利要求7所述的一种实现定制化数据的系统，其特征在于，所述系统还包括：

数据加载引擎：用于根据所述加载数据动态调整线程，并根据调整后的线程对所述加载数据进行加载。

9.根据权利要求7或8所述的一种实现定制化数据的系统，其特征在于，所述数据清洗加工引擎具体用于：

根据目标数据确定处理字段；

根据所述处理字段选取作用于所述制定化数据的处理规则；

当所述制定化数据通过所述处理规则中的校验子规则时，则对所述定制化数据进行配置，得到所述制定化数据对应的加载数据。

10.根据权利要求6-9中任一项所述的一种实现定制化数据的系统，其特征在于，所述数据加工引擎还用于：

当没有与所述数据源对应的所述第一数据模板时，则根据所述数据源建立与其对应的第二数据模板。