[发明专利]一种并行数据清洗系统

权利要求书

1.一种并行数据清洗系统，其特征在于，该系统包括多个数据源，多个数据采集装置，缓存服务器，数据清洗装置，数据库，业务机；其中每个数据采集装置用于对多个数据源进行数据采集，并将采集到的数据集合传送到缓存服务器中，数据清洗装置从缓存服务器获取待处理数据，数据清洗装置将清洗后的数据保存到数据库中，不同的业务机从数据库中获取所需的清洗后数据；

数据源散落于互联网中，数据采集装置针对数据源的采集策略通过互联网进行数据获取，每个数据采集装置用于固定的多个数据源的数据采集，多个数据采集装置可以并行采集，从而加快数据采集到效率，数据采集装置通过网络连接到数据清洗装置，从而可以通过缓存服务器与数据清洗装置进行通信，并接受其管理；特定数据采集装置采集到的数据除了需要标注数据源外，还需要标注采集单元的编号，数据清洗装置对该采集单元的采集质量进行评定，并基于该采集编号进行评定反馈；

采集后的数据被保存在缓存服务器中，数据清洗装置可以主动或者基于通知消息异步的进行数据获取，缓存服务器可以用于对采集到的原始数据进行保存，从而对待清洗数据起到一个备份的作用，在清洗发生错误或者产生清洗数据丢失时，数据清洗装置可以再次从缓存服务器获取原始数据，通过缓存服务器的设置减轻了数据清洗装置的存储压力，使得并行的数据采集成为可能；

数据清洗装置用于基于当前数据清洗规则对获取的待清洗数据进行清洗处理，管理用户可以登录数据清洗装置进行清洗规则的设置和修改，从而实现针对特定管理用户的个性化定制清洗；数据清洗装置通过网络对系统中的多个数据采集装置，缓存服务器，数据库进行管理；

数据库用于对清洗后的数据进行保存和管理，业务机可以主动的或者基于通知异步的从数据库中获取所需数据；业务机进行数据获取需要进行鉴权，从而保证了数据的安全性。

2.根据权利要求1所述的并行数据清洗系统，其特征在于，数据清洗装置包括控制装置、本地缓存和多个处理装置。

3.根据权利要求2所述的并行数据清洗系统，其特征在于，多个处理装置可以并行进行数据清洗，从而提高了清洗效率。

4.根据权利要求2所述的并行数据清洗系统，其特征在于，控制装置用于进行任务分配，管理处理装置，任务调度，用户交互，业务机交互。

5.根据权利要求1所述的并行数据清洗系统，其特征在于，系统包括多个业务机，不同的业务机面向不同的业务需求和不同的用户、面向相同业务需求的不同用户、或面向相同的业务需求和相同的用户。

6.根据权利要求5所述的并行数据清洗系统，其特征在于，多个业务机可以进行并行的数据获取和任务下达。

7.根据权利要求1所述的并行数据清洗系统，其特征在于，每个数据采集装置倍分配一个独立的标识。

8.根据权利要求1所述的并行数据清洗系统，其特征在于，业务机基于自身的设备编号进行鉴权、或基于在网络中的地址进行鉴权、或基于两者的结合进行鉴权。