[发明专利]一种分布式行情数据处理系统及方法

权利要求书

1.一种分布式行情数据处理系统，其特征在于，包括：实时数据采集模块、历史数据存储模块、整合服务模块、推送模块、订阅模块，其中，实时数据采集模块与历史数据存储模块、推送模块连接，整合服务模块与历史数据存储模块、推送模块连接，订阅模块与推送模块连接；

所述实时数据采集模块包括实时行情数据库及数据源服务，用于采集和存储实时行情数据；所述实时数据采集模块抓取数据时根据数据的具体格式进行多线程抓取，并且采用事务性质方式，即同一批数据按事务性质由多线程顺序存入相应的存储单元，多个线程都成功存入后才算抓取成功；

所述历史数据存储模块用于对行情数据进行处理与存储；

所述整合服务模块用于整合所述数据源服务中的基础行情数据及所述历史数据存储模块存储的处理行情数据；

所述订阅模块用于接收用户关注的实时行情信息及查询信息；

所述推送模块用于根据所述用户关注的实时行情信息和/或查询信息，向实时数据采集模块发送用户关注的实时行情信息，和/或向整合服务模块发送查询信息，并接收实时行情信息和/或查询结果，并返回给订阅模块；

所述推送模块包括负载均衡服务器，负载均衡服务器设置推送服务器、备用推送服务器，负载均衡服务器接收客户端的订阅或查询请求，并获取主推送服务器的服务状态，服务状态包括服务器的响应速度，当主推送服务器的响应速度低于阈值时，将客户端的订阅或查询请求发送给备用推送服务器，直到选择出满足需求的推送服务器。

2.根据权利要求1所述的分布式行情数据处理系统，其特征在于，所述历史数据存储模块包括RabbitMQ、多通道分布式数据处理服务、redis。

3.根据权利要求1所述的分布式行情数据处理系统，其特征在于，所述推送模块包括负载均衡服务器、主推送服务器、一个或多个备用推送服务器，推送服务器与负载均衡服务器相连，由负载均衡服务器进行统一的管理。

4.根据权利要求3所述的分布式行情数据处理系统，其特征在于，所述实时数据采集模块与订阅模块采用socket直连，所述推送服务器、负载均衡服务器采用socket直连。

5.根据权利要求2所述的分布式行情数据处理系统，其特征在于，在收市后，redis将数据同步至tidb。

6.根据权利要求1所述的分布式行情数据处理系统，其特征在于，所述整合服务模块与推送模块采用Dubbo框架。

7.一种分布式行情数据处理方法，基于权利要求1-6任一项所述的数据处理系统，其特征在于，包括步骤：

S1、推送模块接收用户通过订阅模块发送的信息，若所述信息为订阅信息，执行步骤

S2，若所述信息为历史数据查询请求，执行步骤S3；

S2、实时数据采集模块不断将采集到的实时行情属于与客户端订阅的行情信息进行匹配，若匹配成功，则将实时的行情数据通过与socket直连推送模块发送给相应的订阅模块；

S3、整合服务模块整合判断查询请求查询的数据为基础数据还是处理数据，若为基础数据，则从所述数据源服务中获取，若为处理数据，则从所述历史数据存储模块查询。

8.根据权利要求7所述的分布式行情数据处理方法，其特征在于，所述S1包括：

S11、负载均衡服务器接收用户通过订阅模块发送的信息，获取主推送服务器的响应速度；

S12、判断主推送服务器的响应速度是否低于一定阈值，若是，将所述订阅模块发送的信息发送给备用推送服务器，否则，发送给主推送服务器。

9.根据权利要求7或8所述的分布式行情数据处理方法，其特征在于，所述步骤S1包括：

S10、判断订阅模块发送的信息中是否存在token，若存在，则对token进行验证，若不存在，则通过认证码申请token，当token通过验证时发送订阅模块发送的信息。

10.根据权利要求7所述的分布式行情数据处理方法，其特征在于，所述处理数据的具体生成如下：

S31、接收实时数据采集模块传入的需要处理的数据，并将数据放入RabbitMQ；

S32、采用多通道分布式数据处理服务进行处理；

S33、将处理生成的存入放入redis。