[发明专利]一种平衡云端数据的时效性和接收性能的方法

说明书

本发明公开了一种平衡云端数据的时效性和接收性能的方法，所述方法包括步骤1：将客户端采集到的数据请求发送到云端服务器；步骤2：请求到达负载均衡时，根据请求来源的IP信息将请求分配到指定的处理服务器；步骤3：处理服务器接收请求后，执行本机运算逻辑，执行完成后，将请求数据序列化，每一行数据快速记录到服务器磁盘上形成一个数据文件；步骤4：处理服务器查询内存中是否有需要返回的数据，请求数据中是否有需要直接返回的数据，然后返回客户端响应；步骤5：处理服务器保持一个常驻进程，轮询磁盘是否有新的数据文件需要处理；步骤6：将执行后的数据交予数据库服务器进行持久化存储，完成后删除磁盘文件。

技术领域

本发明涉数据处理技术领域，具体的说，是一种平衡云端数据的时效性和接收性能的方法。

背景技术

信息化时代下，各种各样的数据产生了巨量的增长。又尤其是数据采集行业中，并发量超百万，单日数据量巨大。为了满足数据接收的高并发，高性能要求，服务器数量大幅上升。行业在整体设计上采用了无状态服务，实现水平扩展。数据处理的一般流程为：判断终端指纹、标记IP地域、执行采集运算统计、数据持久化存储、响应终端请求。一系列参与处理的过程较多，但是与实际响应终端的内容却关联不大。较长的处理链路拉长了处理时间，服务器的并发能力被消耗。在应对大并发量时成本高昂。在数据采集的场景中，一般都是静默采集，无业务逻辑，服务器响应客户端请求的内容相对固定。

发明内容

本发明的目的在于提供一种平衡云端数据的时效性和接收性能的方法，用于解决现有技术中参与处理的过程较多，但是与实际响应终端的内容却关联不大。较长的处理链路拉长了处理时间，服务器的并发能力被消耗以及在应对大并发量时成本高昂的问题。

本发明通过下述技术方案解决上述问题：

一种平衡云端数据的时效性和接收性能的方法，所述方法包括如下步骤：

步骤1：将客户端采集到的数据请求发送到云端服务器；

步骤2：请求到达负载均衡时，根据请求来源的IP信息将请求分配到指定的处理服务器；

步骤3：处理服务器接收请求后，执行本机运算逻辑，执行完成后，将请求数据序列化，每一行数据快速记录到服务器磁盘上形成一个数据文件；

步骤4：处理服务器查询内存中是否有需要返回的数据，请求数据中是否有需要直接返回的数据，附带处理服务器信息，然后返回客户端响应，客户端获得云端响应之后请求结束；

步骤5：处理服务器保持一个常驻进程，轮询磁盘是否有新的数据文件需要处理，发现有新的文件需要处理时，逐行读取数据交予其他业务逻辑服务器进行处理，执行完成后，将需要返回的数据存放到内存中；

步骤6：将执行后的数据交予数据库服务器进行持久化存储，完成后删除磁盘文件。

优选地，所述步骤2中依据IP_HASH负载均衡策略对IP信息进行分配，负载均衡策略有多种，其他负载均衡策略可对其进行替换。

优选地，所述步骤2中，完成分配后同一IP的后续请求均分配到相同的处理服务器。

优选地，所述本机运算逻辑为本机执行，不依赖外部且不发起网络请求的逻辑。

优选地，所述步骤1中数据请求通过HTTP、HTTPS或UDP协议发送到云端服务器。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明的方法，以每行的形式生成数据文件，较少了隐藏的\n、\t等字符的生成，节约了空间，间接的提升了数据的接收性能。