[发明专利]基于信息流的大数据存储系统

摘要

本发明公开了基于信息流的大数据存储系统，该存储系统旨在解决现有技术下任务不能并行处理，因此数据存储的耗时较长，且不能对数据进行预处理，源数据中含有较多的有问题数据，后续的处理难度大，并且没有创建索引，不利于数据的查找的技术问题。该存储系统包括数据抓取单元、数据预处理单元和数据存储单元。该存储系统利用map任务有5个复制线程，因此可以并行地复制map的输出任务，因此提高数据存储的速度，且通过数据预处理单元针对数据抓取单元抓取到的有问题数据进行清洗和转换，其目的为纠正错误、删除重复项、统一规格、修正逻辑、转换构造、数据压缩，从而保证数据的完整性，便于数据的后续处理，同时可以加快数据的检索速度。