[实用新型]大批量数据处理系统

说明书

技术领域

本实用新型涉及数据处理技术领域，特别涉及一种大批量数据处理系统。

背景技术

银行业内现有的外汇及利率报价系统为了保证报价业务的可追溯性，需要保证原始报价数据及处理后结果数据的完整性。即需要存储从外部报价源接收的原始报价和系统处理后的报价结果。现有的外汇报价系统在处理报价信息时，通常采用如下流程：接收外部报价源的报价数据，将原始报价存储到数据库中，对某一时间段内的原始报价进行风险过滤、加工处理后报送给报价使用方，最后将报价结果存储到数据库中。

上述报价处理方法在订阅的报价信息较少，报价波动不频繁的情况下，可以运转得很好。但是在市场波动频繁，单位时间内接收到大量报价数据的情况下，由于数据库的输入输出(IO)速度远低于CPU的处理速度，报价存储速度的限制会导致报价处理时间延长，报价时效性变差，所报价格无法正常反映出市场的真实价格波动。同时也使得CPU利用率变低。在极端情况下，大量待存储的原始报价及待存储的报价结果淤积在内存中，可能会导致内存溢出，进而引起系统崩溃。

如图6所示，直观地展示了现有的一个报价系统(采用上述报价处理方法设计)在面临大量报价信息时，系统内存的使用情况。从图中可以看出，所占用内存量直线上升，系统稳定性存在隐患。

实用新型内容

为了克服现有技术的上述缺陷，本实用新型提供了一种大批量数据处理系统，通过将数据信息的存储从同步修改为异步，提升了CPU的使用率。

本实用新型的大批量数据处理系统包括：缓存装置，与系统中其它各装置连接，其临时存储来自外部数据源的原始数据和经过数据处理装置处理的数据结果；数据处理装置，与检测装置和缓存装置连接，其对原始数据进行处理，得到数据结果；检测装置，与缓存装置、数据处理装置、排水装置以及存储装置连接，其根据缓存装置中原始数据的数据量，动态调整数据处理装置中数据处理单元数量，以及根据系统的资源使用情况选择通过存储装置存储或者通过排水装置存储；排水装置，与存储装置、缓存装置和检测装置连接，其在系统资源繁忙时暂时保存原始数据和数据结果，在系统资源空闲时再将其保存的原始数据和数据结果同步到存储装置中，进而保证数据的完整性；存储装置，与缓存装置、检测装置以及排水装置连接，其持久性存储所述原始数据和数据结果。

优选地，所述原始数据是原始报价信息，所述数据结果是报价结果。

优选地，缓存装置是高速存储装置，进一步包括：原始数据缓存单元，用于临时存储来自外部报价源的原始报价，原始报价以队列的形式存储并可以被数据处理装置启动的一个或者多个数据处理单元处理；数据结果缓存单元，用于临时存储经数据处理装置加工处理的报价结果。

优选地，所述检测装置进一步包括：数据处理检测单元，用于检测缓存装置中原始数据缓存单元的原始报价的数量，根据报价数量动态分配数据处理单元；原始数据存储检测单元，用于监控原始数据缓存单元中原始报价增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置进行排水操作；数据结果存储检测单元，用于监控数据结果缓存单元中报价结果增长与其存储处理的速度差值，如果超出了设置的阈值，则启动排水装置进行排水操作。

优选地，排水装置进一步包括：原始数据排水单元，用于在存储装置的存储速度无法满足原始报价的存储速度要求时，对原始报价进行临时存储；数据结果排水单元，用于在存储装置的存储速度无法满足报价结果的存储要求时，对报价结果进行临时存储；排水同步单元，用于在外部数据源的报价不频繁，原始报价或报价结果存储操作不繁忙时，将排水装置中原始数据排水单元和数据结果排水单元存储的原始报价和报价结果同步到存储装置。

优选地，上述系统还包括：数据接收装置，用于从外部的一个或者多个数据源获取原始报价，并缓存到缓存装置；数据发送装置，用于从缓存装置中数据结果缓存单元获取报价结果并提供给报价使用方。

优选地，所述数据处理装置进一步包括：数据处理单元，用于对原始报价进行处理，将处理后的报价结果临时存储在缓存装置的数据结果缓存单元。

优选地，原始报价处理包括报价筛选、报价解析及报价组装，其中报价筛选采用基于方差区间的报价筛选算法，比较前后两个报价的方差值，自动将超出方差区间参数的报价筛除，报价解析是从原始报价中提出有用信息并加工成报价元素的过程，报价元素是一个由id和value组成的数据结构，报价组装是将报价元素通过计算处理得到最终报价结果的过程。