[发明专利]一种并行数据清洗系统

说明书

本发明涉及一种并行数据清洗系统，该系统包括多数据源，多个数据采集装置，缓存服务器，数据清洗装置，数据库，业务机。该系统包括具有并行处理能力的数据清洗装置，该数据清洗装置包括控制装置、本地缓存和多个处理装置。本发明使得能够并行的作数据清洗，提高了清洗速度，具备了海量数据清洗能力，通过提高清洗装置的处理能力，可以进一步的提升清洗的效率，能够同时为多个业务机和/或多个用户服务，满足不同用户不同的业务需求。

【技术领域】

本发明属于数据清洗领域，尤其涉及一种并行数据清洗系统。

【背景技术】

互联网发展至今天，各大信息化领域企业的数据规模急剧扩大，有些甚至达到了PB级，用户和机器制造的越来越多的业务数据对I T系统带来了更大的挑战，数据的存储以及在未来访问和使用这些数据已成为难点，想从海量的数据里得到对自己有用的信息也变得倍加艰难。此外，由于不同的业务数据对信息的表述方式不尽相同，从而给信息整合带来了一定的困难。另外，同一条业务数据可能会出现不同的表现形式，其会产生很多重复数据，因此，针对来自不同数据源的、表述形式不一样的数据进行重复数据的清洗是非常有必要的。

基于上述诸多问题，现在亟需一种新的数据清洗系统，能够并行的作数据清洗，提高清洗速度，具备海量数据清洗能力，同时能够有效率的进行数据清洗涉及的各项操作。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种并行数据清洗系统，其特征在于，该系统包括多个数据源，多个数据采集装置，缓存服务器，数据清洗装置，数据库，业务机；其中每个数据采集装置用于对多个数据源进行数据采集，并将采集到的数据集合传送到缓存服务器中，数据清洗装置从缓存服务器获取待处理数据，数据清洗装置将清洗后的数据保存到数据库中，不同的业务机从数据库中获取所需的清洗后数据；

数据源散落于互联网中，数据采集装置针对数据源的采集策略通过互联网进行数据获取，每个数据采集装置用于固定的多个数据源的数据采集，多个数据采集装置可以并行采集，从而加快数据采集到效率，数据采集装置通过网络连接到数据清洗装置，从而可以通过缓存服务器与数据清洗装置进行通信，并接受其管理；特定数据采集装置采集到的数据除了需要标注数据源外，还需要标注采集单元的编号，数据清洗装置对该采集单元的采集质量进行评定，并基于该采集编号进行评定反馈；

采集后的数据被保存在缓存服务器中，数据清洗装置可以主动或者基于通知消息异步的进行数据获取，缓存服务器可以用于对采集到的原始数据进行保存，从而对待清洗数据起到一个备份的作用，在清洗发生错误或者产生清洗数据丢失时，数据清洗装置可以再次从缓存服务器获取原始数据，通过缓存服务器的设置减轻了数据清洗装置的存储压力，使得并行的数据采集成为可能；

数据清洗装置用于基于当前数据清洗规则对获取的待清洗数据进行清洗处理，管理用户可以登录数据清洗装置进行清洗规则的设置和修改，从而实现针对特定管理用户的个性化定制清洗；数据清洗装置通过网络对系统中的多个数据采集装置，缓存服务器，数据库进行管理；

数据库用于对清洗后的数据进行保存和管理，业务机可以主动的或者基于通知异步的从数据库中获取所需数据；业务机进行数据获取需要进行鉴权，从而保证了数据的安全性。

进一步的，数据清洗装置包括控制装置、本地缓存和多个处理装置。

进一步的，多个处理装置可以并行进行数据清洗，从而提高了清洗效率。

进一步的，控制装置用于进行任务分配，管理处理装置，任务调度，用户交互，业务机交互。

进一步的，系统包括多个业务机，不同的业务机面向不同的业务需求和不同的用户、面向相同业务需求的不同用户、或面向相同的业务需求和相同的用户。

进一步的，多个业务机可以进行并行的数据获取和任务下达。

进一步的，每个数据采集装置倍分配一个独立的标识。