[发明专利]数据采集系统

权利要求书

1.一种数据采集系统，其特征在于，所述数据采集系统包括：多条数据采集通道，每条数据采集通道包括边缘服务器组、第一代理服务器、第二代理服务器，每条数据采集通道分别与至少一个数据处理中心服务器建立通信连接；

所述边缘服务器组中的每一个边缘服务器，用于接收用户请求；

所述第一代理服务器，用于对所述用户请求进行第一归类处理，获取第一汇总数据；并将所述第一汇总数据发送至所述第二代理服务器；

所述第二代理服务器，用于对所述第一汇总数据进行第二归类处理，获取第二汇总数据，并将所述第二汇总数据分别发送至每一个所述数据处理中心服务器；

至少一个数据处理中心服务器中的每一个所述数据处理中心服务器，分别用于确定所述第二汇总数据是否为自身管辖范围内待处理的数据；

当确定所述第二汇总数据为自身管辖范围内待处理的数据时，对所述第二汇总数据进行第三归类处理，获取第三汇总数据。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括：所述用户请求中包括如下字段信息：请求时间、第一IP、第二IP、访问域名、访问流量，以及请求次数，其中，所述第一IP为访客客户端对应的IP，所述第二IP为所述访客客户端待访问的IP；

所述第一代理服务器，具体用于：根据所述第一IP，确定所述访客的客户端所属区域；

根据所述第二IP，从多条数据采集通道分别对应的所述边缘服务器组中，确定发出所述用户请求的边缘服务器组；

按照所述请求时间、发出所述用户请求的边缘服务器组、所述访客的客户端所属区域、所述访问域名、所述访问流量，以及所述请求次数构成的第一汇总规范，对所述用户请求进行汇总，获取所述第一汇总数据。

3.根据权利要求2所述的系统，其特征在于，所述第二代理服务器具体用于，从所述第一汇总数据中提取每个用户请求中的如下字段构成第二汇总规范：所述请求时间、发出所述用户请求的边缘服务器组、所述访客的客户端所属区域，以及所述访问域名；

根据所述第二汇总规范，对所述第一汇总数据执行精简归类处理，获取第二汇总数据。

4.根据权利要求1-3任一项所述的系统，其特征在于，所述数据处理中心服务器，还用于对所述第二汇总数据进行预处理。

5.根据权利要求1-3任一项所述的系统，其特征在于，所述数据处理中心服务器，具体用于：

对所述第二汇总数据进行分类，获取多个第四汇总数据；

并按照与每一个所述第四汇总数据的类别对应的处理规则，并行对所述第四汇总数据进行处理，分别获取与每一个第四汇总数据对应的第三汇总数据。

6.根据权利要求5所述的系统，其特征在于，所述数据处理中心服务器，具体用于：

从所述第二汇总数据中的每一条数据中提取数据头；

根据所述数据头中的信息，对所述第二汇总数据进行分类，获取多个第四汇总数据。

7.根据权利要求1-3或6任一项所述的系统，其特征在于，所述数据处理中心服务器还用于，对所述第三汇总数据进行容灾处理，以及数据平滑处理。

8.根据权利要求1-3或6任一项所述的系统，其特征在于，所述数据处理中心服务器还用于，根据所述第三汇总数据，生成调度指标。

9.根据权利要求8所述的系统，其特征在于，所述数据处理中心服务器，还用于：

按照预设分类维度，对所述第三汇总数据进行分类，获取所述分类维度对应的调度指标。

10.根据权利要求1-3或6任一项所述的系统，其特征在于，所述数据处理中心服务器还用于，当确定所述第二汇总数据不属于自身管辖范围内的待处理数据时，丢弃所述第二汇总数据。