[发明专利]一种数据处理方法和系统

权利要求书

1.一种数据处理方法，其特征在于，应用于数据处理系统，所述方法包括：

存储所述数据处理系统的内部数据，以及从外部获取的数据；

管控业务逻辑；

向数据处理系统的外部系统提供数据服务；

对数据进行处理；

其中，所述对数据进行处理的步骤，包括：

接收外部系统传输的第一数据集合；

在数据处理系统中生成与待更新的目标数据集合相关联的第二数据集合；

清空所述目标数据集合中的数据；

使用所述第一数据集合和所述第二数据集合中的数据对所述目标数据集合进行数据更新；

其中，所述使用所述第一数据集合和所述第二数据集合中的数据对所述目标数据集合进行数据更新，包括：

使用查询插入的方式将所述第一数据集合和所述第二数据集合中的数据插入到所述目标数据集合中，以对所述目标数据集合中的数据进行更新。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

接收用户输入的操作指令，对所述数据处理系统进行管理及设置。

3.如权利要求1所述的方法，其特征在于，所述存储所述数据处理系统的内部数据，以及从外部获取的数据的步骤，包括：

存储从外部获取的数据包括直接抽取式数据和文件形式数据。

4.如权利要求1所述的方法，其特征在于，所述管控业务逻辑的步骤，包括：

存储所述数据处理系统的业务逻辑，所述业务逻辑包括下述至少之一：调度规则、数据血缘关系、模型元数据和脚本工具。

5.如权利要求1所述的方法，其特征在于，所述向数据处理系统的外部系统提供数据服务的步骤，包括：

向数据处理系统的外部系统推送信息队列和数据；

存储文件形式数据；

与数据处理系统的下游系统或者服务系统连接，为所述下游系统或者服务系统提供数据。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

接收输入的参数；

基于预设规则及所述参数，生成自动化工具脚本。

7.如权利要求1-6中任一项所述的方法，其特征在于，在所述在数据处理系统中生成与待更新的目标数据集合相关联的第二数据集合的步骤之前，所述方法包括：

从所述第一数据集合中确定第一关键字或者关键字段；

使用所述第一关键字或者关键字段在所述目标数据集合中进行查询；

若在所述目标数据集合中查询到所述第一关键字或者关键字段，或者查询到与所述第一关键字或者关键字段相匹配的数据，执行所述在数据处理系统中生成与待更新的目标数据集合相关联的第二数据集合的步骤。

8.如权利要求7所述的方法，其特征在于，在所述使用所述第一关键字或者关键字段在所述目标数据集合中进行查询的步骤之后，所述方法包括：

若在所述目标数据集合中未查询到所述第一关键字或者关键字段，并且未查询到与所述第一关键字或者关键字段相匹配的数据，将所述第一数据集合的数据更新至所述目标数据集合中。

9.如权利要求7所述的方法，其特征在于，所述使用所述第一数据集合和所述第二数据集合中的数据对所述目标数据集合进行数据更新的步骤，包括：

从所述第二数据集合中确定第二关键字或者关键字段；

使用所述第二关键字或者关键字段在所述第一数据集合中进行查询；

若在所述第一数据集合中未查询到所述第二关键字或者关键字段，并且在所述第一数据集合中未查询到与所述第二关键字或者关键字段相匹配的数据，将所述第二数据集合中与所述第二关键字或者关键字段相匹配的数据更新至所述目标数据集合中；

将所述第一数据集合中与所述第一关键字或者关键字段相匹配的数据更新至所述目标数据集合中。