[实用新型]大批量数据处理系统

摘要

本实用新型公开了一种大批量数据处理系统，包括：缓存装置，其临时存储来自外部数据源的原始数据和经过数据处理装置处理的数据结果；数据处理装置，对原始数据进行处理，得到数据结果；检测装置，根据缓存装置中原始数据的数据量，动态调整数据处理装置中数据处理单元数量，并根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储；排水装置，在系统资源繁忙时暂时保存原始数据和数据结果，在系统资源空闲时再将其保存的原始数据和数据结果同步到存储装置中；存储装置，持久性存储所述原始数据和数据结果。本实用新型克服了现有数据处理系统在处理大批量信息时效率低下，稳定性差，可能会导致内存溢出、系统崩溃等缺陷。

主权项

一种大批量数据处理系统，该系统包括：缓存装置(2)，与系统中其它各装置连接，其临时存储来自外部数据源的原始数据和经过数据处理装置处理的数据结果；数据处理装置(4)，与检测装置和缓存装置连接，其对原始数据进行处理，得到数据结果；检测装置(5)，与缓存装置、数据处理装置、排水装置以及存储装置连接，其根据缓存装置中原始数据的数据量，动态调整数据处理装置中数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储；排水装置(7)，与存储装置、缓存装置和检测装置连接，其在系统资源繁忙时暂时保存原始数据和数据结果，在系统资源空闲时再将其保存的原始数据和数据结果同步到存储装置(6)中，进而保证数据的完整性；以及存储装置(6)，与缓存装置、检测装置以及排水装置连接，其持久性存储所述原始数据和数据结果。