[发明专利]一种数据抽取和数据集成方法及其系统

权利要求书

1.一种数据抽取和数据集成方法，其步骤为：

1)设置一命名服务器、一数据库服务器、一数据集成节点、和若干个数据抽取节点；

2)所述数据抽取节点和数据集成节点向所述命名服务器发送本节点信息，所述命名服务器将接收的节点信息发送给所述数据库服务器；

3)所述命名服务器根据收到的节点信息为所述数据抽取节点和数据集成节点分配ID，并将ID分配信息发送给所述数据库服务器；

4)所述命名服务器根据所述数据集成节点发送的查询抽取节点列表请求消息，查询所述数据库服务器，将当前可用数据抽取节点返回给所述数据集成节点；

5)所述数据集成节点向当前可用的每个数据抽取节点发送查询请求，数据抽取节点根据所述查询请求将本地数据库中用户表的基本信息发送给所述数据集成节点；

6)所述数据集成节点根据数据抽取节点的用户表信息在本地数据库系统中为相应的数据抽取节点建立临时数据库、数据库表；其中所述临时数据库、数据库表与对应数据抽取节点的数据库、数据库表对应一致；

7)所述数据抽取节点根据所述数据集成节点的所需内容，查询本地数据库表，并返回相应的内容；

8)所述数据集成节点将返回的数据库表内容存储到所述数据集成节点相应的临时数据库中并更新相应数据库表。

2.如权利要求1所述的方法，其特征在于所述数据抽取节点的节点信息包括：IP地址、端口号、MAC地址、节点类型；所述数据集成节点的节点信息包括：IP地址、端口号、MAC地址、节点类型、当前登录的角色。

3.如权利要求2所述的方法，其特征在于所述命名服务器根据抽取节点的MAC地址、数据集成节点的MAC地址，使用哈希算法计算出哈希值作为ID分配给相应的所述数据抽取节点和数据集成节点。

4.如权利要求1或2或3所述的方法，其特征在于所述命名服务器为每一注册用户分配一角色，并设置每一角色的权限。

5.如权利要求4所述的方法，其特征在于步骤4)中，所述命名服务器根据所述数据集成节点当前登录角色的权限，确定是否发送的查询抽取节点列表请求消息；如果所述数据集成节点当前登录的角色具有只读权限，则不发送所述请求消息；如果所述数据集成节点当前登录的角色具有可写权限，则发送所述请求消息；收到请求的所述数据抽取节点。

6.如权利要求5所述的方法，其特征在于步骤5)中，所述数据集成节点首先判断所述数据集成节点当前登录角色的权限；如果为只读权限，则不能发送所述查询请求；如果为可写权限，则发送所述查询请求；收到请求的所述数据抽取节点提供当前角色对应权限范围内的数据库中表的值。

7.如权利要求6所述的方法，其特征在于步骤8)中，所述数据集成节点根据当前登录角色的权限对数据做相应的操作：如果为只读权限，则只能读取数据库中的数据；如果为可写权限，则根据权限要求做当前角色对应权限相应的数据集成操作。

8.如权利要求1所述的方法，其特征在于所述数据集成节点根据所述用户表信息中的数据抽取节点名称和数据源名称在本地数据库系统中为相应数据抽取节点建立所述临时数据库、数据库表。

9.一种数据抽取和数据集成系统，其特征在于包括数据库服务器、命名服务器、数据集成节点以及多个数据抽取节点；其中每一所述数据抽取节点分别通过网络与所述数据集成节点、所述命名服务器连接，所述数据集成节点与所述命名服务器通过网络连接，所述命名服务器通过网络与所述数据库服务器连接；其中：

所述命名服务器用于控制所有数据抽取节点和数据集成节点的ID分配，并将ID分配信息发送给所述数据库服务器；

所述数据库服务器用于存储命名服务器发送的普通节点ID分配信息；

所述数据抽取节点用于对数据的接收以及对本地数据库的数据进行抽取操作，并将抽取来的数据发送给所述数据集成节点；所述数据抽取节点还向所述命名服务器发送节点信息，所述命名服务器将接收的节点信息发送给所述数据库服务器；

所述数据集成节点用于对数据的发送以及对接收的数据进行处理；所述数据集成节点还向所述命名服务器发送节点信息，所述命名服务器将接收的节点信息发送给所述数据库服务器。