[发明专利]一种并行数据清洗系统

摘要

本发明涉及一种并行数据清洗系统，该系统包括多数据源，多个数据采集装置，缓存服务器，数据清洗装置，数据库，业务机。该系统包括具有并行处理能力的数据清洗装置，该数据清洗装置包括控制装置、本地缓存和多个处理装置。本发明使得能够并行的作数据清洗，提高了清洗速度，具备了海量数据清洗能力，通过提高清洗装置的处理能力，可以进一步的提升清洗的效率，能够同时为多个业务机和/或多个用户服务，满足不同用户不同的业务需求。

主权项

一种并行数据清洗系统，其特征在于，该系统包括多个数据源，多个数据采集装置，缓存服务器，数据清洗装置，数据库，业务机；其中每个数据采集装置用于对多个数据源进行数据采集，并将采集到的数据集合传送到缓存服务器中，数据清洗装置从缓存服务器获取待处理数据，数据清洗装置将清洗后的数据保存到数据库中，不同的业务机从数据库中获取所需的清洗后数据；数据源散落于互联网中，数据采集装置针对数据源的采集策略通过互联网进行数据获取，每个数据采集装置用于固定的多个数据源的数据采集，多个数据采集装置可以并行采集，从而加快数据采集到效率，数据采集装置通过网络连接到数据清洗装置，从而可以通过缓存服务器与数据清洗装置进行通信，并接受其管理；特定数据采集装置采集到的数据除了需要标注数据源外，还需要标注采集单元的编号，数据清洗装置对该采集单元的采集质量进行评定，并基于该采集编号进行评定反馈；采集后的数据被保存在缓存服务器中，数据清洗装置可以主动或者基于通知消息异步的进行数据获取，缓存服务器可以用于对采集到的原始数据进行保存，从而对待清洗数据起到一个备份的作用，在清洗发生错误或者产生清洗数据丢失时，数据清洗装置可以再次从缓存服务器获取原始数据，通过缓存服务器的设置减轻了数据清洗装置的存储压力，使得并行的数据采集成为可能；数据清洗装置用于基于当前数据清洗规则对获取的待清洗数据进行清洗处理，管理用户可以登录数据清洗装置进行清洗规则的设置和修改，从而实现针对特定管理用户的个性化定制清洗；数据清洗装置通过网络对系统中的多个数据采集装置，缓存服务器，数据库进行管理；数据库用于对清洗后的数据进行保存和管理，业务机可以主动的或者基于通知异步的从数据库中获取所需数据；业务机进行数据获取需要进行鉴权，从而保证了数据的安全性。