[发明专利]一种多节点系统的数据处理方法

权利要求书

1.一种多节点系统的数据处理方法，其特征在于，该方法包括如下步骤：

(1)将系统中的各个节点按照性能划分为多个计算节点和一个控制节点；

(2)当控制节点接收到数据处理服务请求时，选择一个计算节点作为数据处理节点，控制节点将其存储的数据处理线程传送给上述数据处理节点；

(3)所述数据处理节点接收上述数据处理线程，保存在本地并运行数据处理线程实现数据处理。

2.根据权利要求1所述的多节点系统的数据处理方法，其特征在于，其中数据处理服务是数据清洗。

3.根据权利要求2所述的多节点系统的数据处理方法，其特征在于，其中数据清洗线程由数据清洗组件来实现，清洗服务组件包括数据标准化模块、错误数据查找模块、重复数据删除模块、数据关联、数据合并、数据分析、数据增强模块；所述数据分析模块用于根据用户定义的模式对原始数据进行相关分析，所述数据增强模块用于利用外部字典和规则，补充原始数据中不完整的数据、遗漏的字段或者以增加字段的方式添加额外的信息。

4.根据权利要求3所述的多节点系统的数据处理方法，其特征在于，所述数据标准化模块用于解决多来源数据标准不统一的问题，按照预先制定的数据仓库规范统一描述方式，实现全仓储数据格式标准化；所述错误数据查找模块用于查找和删除不合理数据、不合逻辑数据和矛盾数据；所述重复数据删除模块用于识别和删除相似重复数据。

5.根据权利要求4所述的多节点系统的数据处理方法，其特征在于，所述数据关联模块用于发现和识别相关数据并进行关联，所述数据合并模块用于发现和识别同类数据并进行合并。