[发明专利]针对分布式特性对大数据进行预处理的系统及其预处理方法

摘要

本发明公开了一种针对分布式特性对大数据进行预处理的系统，包括：预处理适配器，为原始数据预处理提供了入口，分为自动化预处理适配器和半自动化预处理适配器；数据处理模块，将预处理适配器发送来的数据按照指定规则和统一标准的数据格式进行数据块的划分，划分后的数据块分布到不同的存储节点上，相互具有关联的数据划分在同一数据块中，且数据块之间不具备关联性；分布式存储模块，设置多个存储节点，用于存储数据处理模块发送的数据块。本发明还提供了一种针对分布式特性对大数据进行预处理的方法。本发明能大幅提升了大数据分布式计算和挖掘分析的准确度和效率。

主权项

一种针对分布式特性对大数据进行预处理的系统，其特征在于，包括：预处理适配器、数据处理模块和分布式存储模块；预处理适配器，为原始数据预处理提供了入口并将原始数据转化为目标格式的数据，分为自动化预处理适配器和半自动化预处理适配器；自动化预处理适配器，根据不同的数据源格式设置不同的自动化适配器，将原始数据转化为目标格式的数据；半自动化预处理适配器，通过对开放的标准预处理接口进行二次开发或按照自动化预处理适配器的标准添加相应的配置文件，将原始数据转化为目标格式的数据或满足自动化预处理适配器格式要求的数据；数据处理模块，将预处理适配器发送来的数据按照指定规则和统一标准的数据格式进行数据块的划分，划分后的数据块分布到不同的存储节点上，符合预设关联计算规则的数据划分在同一数据块中，且数据块之间不具备关联性；分布式存储模块，设置多个存储节点，用于存储数据处理模块发送的数据块。