[发明专利]数据的处理方法及装置

说明书

本发明公开了一种数据的处理方法及装置，涉及互联网技术领域，主要目的在于解决接收服务器在通过ARR执行数据传输过程中，由于ARR传输机制的原因，使得IIS服务器在未对http发送端发送的http请求响应之前，http发送端会一直占有IIS服务器的资源，从而大大降低了接收服务器接收http请求的性能的问题。本发明的技术方案包括：获取日志文件，并对日志文件进行解析；其中，日志文件由接收服务器根据访问请求信息生成，且日志文件存储于接收服务器中；读取访问请求信息，并将读取的访问请求信息发送至数据接收端，以便数据接收端对所述访问请求信息进行处理；接收数据接收端返回的对访问请求信息的响应信息。

技术领域

本发明涉及互联网技术领域，特别是涉及一种数据的处理方法及装置。

背景技术

随着互联网技术的快速发展，用户对基于互联网传输数据的应用越来越重视；例如，在服务器端部署两种类型的服务器，一种为接收服务器，用于接收客户端发送的超文本传送协议(HTTP-Hypertext transfer protocol，HTTP)请求，并将接收到HTTP请求按照一定规则转发至计算服务器；另一种为计算服务器，用于对接收服务器发送的数据进行处理分析。

通常，接收服务器与计算服务器分布在不同的服务器上，其中，以接收服务器为互联网信息服务(Internet Information Services，IIS)服务器为例对接收服务器与计算服务器之间的交互过程进行说明。如图1所示，图1示出了现有技术中提供的一种接收服务器与计算服务器之间的交互的架构图，如图1所示，当IIS服务器接收到http发送端发送的http请求后，会将该http请求转发至ARR(Application Request Route)处理，ARR从http请求中提取统一资源定位符(Uniform Resource Locator，URL)，根据URL按照预定转发规则，将http请求发送至计算服务器；计算服务器接收ARR发送的http请求，并对该http请求进行处理，处理完成后给ARR一个状态码；ARR接收并将该状态码返回给IIS服务器，IIS服务器将该包含状态码的http请求记录到IIS日志中，日志记录完成后，IIS服务器将状态信息返回给http发送端。

发明人在实现上述发明过程中，发现现有技术中IIS服务器在对http请求返回状态结果时，依赖于ARR接收到的状态码；待计算服务器将状态码返回ARR，再由ARR将状态码返回至IIS服务器之后，IIS服务器才能对http发送端发送的http请求进行响应，由于ARR传输数据的机制，使得IIS服务器在未对http发送端发送的http请求响应之前，http发送端会一直占有IIS服务器的资源，从而大大降低了IIS服务器接收http请求的性能。

发明内容

有鉴于此，本发明提供的一种数据的处理方法及装置，主要目的在于解决现有技术中接收服务器在通过ARR执行数据传输过程中，由于ARR传输机制的原因，使得IIS服务器在未对http发送端发送的http请求响应之前，http发送端会一直占有IIS服务器的资源，从而大大降低了接收服务器接收http请求的性能的问题。

为了解决上述问题，本发明主要提供如下技术方案：

一方面，本发明提供了一种数据的处理方法，所述方法应用于Flume系统，包括：

获取日志文件，并对所述日志文件进行解析；其中，所述日志文件由接收服务器根据访问请求信息生成，且所述日志文件存储于接收服务器中；

读取所述访问请求信息，并将读取的访问请求信息发送至数据接收端，以便所述数据接收端对所述访问请求信息进行处理；

接收所述数据接收端返回的对所述访问请求信息的响应信息。

优选的，读取所述访问请求信息包括：

获取日志文件的名称与最大行号之间的对应关系，其中，每个访问请求信息对应日志文件中的一行；