[发明专利]一种大批量数据处理系统及方法

权利要求书

1.一种大批量数据处理系统，该系统包括：

缓存装置(2)，用于临时存储来自外部数据源的原始数据和经过数据处理装置处理的数据结果；

数据处理装置(4)，用于对原始数据进行处理，得到数据结果；

检测装置(5)，用于根据缓存装置中原始数据的数据量，动态调整数据处理装置中数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储；

排水装置(7)，用于在系统资源繁忙时暂时保存原始数据和数据结果，在系统资源空闲时再将其保存的原始数据和数据结果同步到存储装置(6)中，进而保证数据的完整性；以及

存储装置，用于持久性存储所述原始数据和数据结果。

2.根据权利要求1所述的系统，其特征在于，

所述原始数据是原始报价信息，所述数据结果是报价结果。

3.根据权利要求2所述的系统，其特征在于，缓存装置(2)是高速存储装置，进一步包括：

原始数据缓存单元(21)，用于临时存储来自外部报价源的原始报价，原始报价以队列的形式存储并可以被数据处理装置(4)启动的一个或者多个数据处理单元处理；

数据结果缓存单元(22)，用于临时存储经数据处理装置4加工处理的报价结果。

4.根据权利要求3所述的系统，其特征在于，检测装置(5)进一步包括：

数据处理检测单元(51)，用于检测缓存装置(2)中原始数据缓存单元(21)的原始报价的数量，根据报价数量动态分配数据处理单元；

原始数据存储检测单元(52)，用于监控原始数据缓存单元(21)中原始报价增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置(7)进行排水操作；

数据结果存储单元(53)，用于监控数据结果缓存单元(22)中报价结果增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置(7)进行排水操作。

5.根据权利要求4所述的系统，其特征在于，排水装置(7)进一步包括：

原始数据排水单元(71)，用于在存储装置(6)的存储速度无法满足原始报价的存储速度要求时，对原始报价进行临时存储；

数据结果排水单元(72)，用于在存储装置(6)的存储速度无法满足报价结果的存储要求时，对报价结果进行临时存储。

排水同步单元(73)，用于在外部数据源的报价不频繁，原始报价或报价结果存储操作不繁忙时，将排水装置(7)中原始数据排水单元(71)和数据结果排水单元(72)存储的原始报价和报价结果同步到存储装置(6)。

6.根据权利要求3～5任一项所述的系统，其特征在于，该系统还包括：

数据接收装置(1)，用于从外部的一个或者多个数据源获取原始报价，并缓存到缓存装置(2)；

数据发送装置(3)，用于从缓存装置(2)中数据结果缓存单元(22)获取报价结果并提供给报价使用方。

7.根据权利要求6所述的系统，其特征在于，所述数据处理装置(4)进一步包括：

数据处理单元(41)，用于对原始报价进行处理，将处理后的报价结果临时存储在缓存装置(2)的数据结果缓存单元22。

8.根据权利要求7所述的系统，原始报价处理包括报价筛选、报价解析及报价组装，其中报价筛选采用基于方差区间的报价筛选算法，比较前后两个报价的方差值，自动将超出方差区间参数的报价筛除，报价解析是从原始报价中提出有用信息并加工成报价元素的过程，报价元素是一个由id和value组成的数据结构，报价组装是将报价元素通过计算处理得到最终报价结果的过程。

9.一种大批量数据处理方法，该方法包括步骤：

利用缓存装置临时存储来自外部数据源的原始数据以及将原始数据经过数据处理得到的数据结果；

根据缓存装置中原始数据的数据量，动态调整对原始数据进行处理的数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储，当系统资源繁忙时利用排水装置暂时保存原始数据和数据结果，在系统资源空闲时再将排水装置保存的原始数据和数据结果同步到存储装置中，进而保证数据的完整性；

其中存储装置用于持久性存储所述原始数据和数据结果。

10.根据权利要求9所述的方法，其特征在于，

所述原始数据是原始报价信息，所述数据结果是报价结果。