[发明专利]一种数据获取方法及装置

说明书

技术领域

本发明涉及互联网络技术领域，特别涉及一种数据获取方法及装置。

背景技术

在树状结构的互联网络中，当前客户端向某一服务器发送连接请求时，接收连接请求的服务器在本地可能不存在响应数据，需要向其父节点发送数据请求，以获得响应数据，以存在反向代理的互联网络结构为例，当外部网络中的客户端需要连接内部网络中的服务器时，由代理服务器接收来自外部网络中客户端的连接请求，然后将该连接请求转发给内部网络中的服务器，即内部网络中的数据源节点，并将从内部网络中数据源节点上获取的数据返回外部网络中发出连接请求的客户端。

在上述过程中，符合客户端连接请求的数据源节点会有多个，代理服务器需要从不同的数据源节点中选择一个，从选择的数据源节点中获取数据，并将获取的数据返回给客户端，以响应客户端的连接请求。现有技术中采用动态随机选择或轮叫调度的方式来命中数据源节点。

现有技术采用的方式无法灵活命中更适合连接客户端的数据源节点，因此从命中的不适合连接客户端的数据源节点获取数据时传输效率不高，不能提升整个网络的传输效率。

发明内容

本发明实施例的目的在于提供一种数据获取方法及装置，可以获取更适合连接客户端的数据源节点，进而获取数据时可以提高传输效率，提升整个网络的传输效率。

为达到上述目的，本发明实施例公开了一种数据获取方法。技术方案如下：

将符合连接请求的数据源节点按照影响连接质量的一个因素进行分组；

在每组数据源节点中按照哈希映射规则命中匹配的数据源节点；

根据所述数据源节点的连接质量指标，从每个组的命中匹配的数据源节点中选择一个连接质量最优的数据源节点；

从所述连接质量最优的数据源节点中获取数据。

所述将符合连接请求的数据源节点按照影响连接质量的一个因素进行分组之前，还包括：

初始化所述数据源节点的连接质量指标，使得所述连接质量指标的初始值保证所述数据源节点都符合连接请求。

所述将符合连接请求的数据源节点按照影响连接质量的一个因素进行分组，包括：

将符合连接请求的数据源节点按照地域分布进行分组；或者，

将符合连接请求的数据源节点按照运营商进行分组。

所述在每组数据源节点中按照预设的哈希规则命中匹配的数据源节点，包括：

在每组数据源节点中将所述连接请求的通用资源标识符URI作为所述哈希映射规则中哈希函数的输入，命中匹配的数据源节点。

所述在每组数据源节点中按照预设的哈希映射规则命中匹配的数据源节点之后，还包括：

判断命中匹配的数据源节点后经过的时长是否超过预先设置的时间阈值；

在超过所述时间阈值时，恢复所述命中匹配的数据源节点的连接质量指标的值为初始值。

所述根据所述数据源节点的连接质量指标从所述命中匹配的数据源节点中选择一个连接质量最优的数据源节点之后，还包括：

将连接质量最优的数据源节点的连接质量指标更新为实时测量的连接质量指标；

相应地，所述从所述质量最优的数据源节点中获取数据，包括：

按照所述更新的连接质量指标从所述选择的数据源节点中获取数据。

所述连接质量指标，包括：连接速度和/或传输带宽。

为了达到上述目的，本发明实施例还公开了一种数据获取装置，该装置包括：

分组模块，用于将符合连接请求的数据源节点按照影响连接质量的一个因素进行分组；

命中模块，用于在所述分组模块分成的每组数据源节点中按照哈希映射规则命中匹配的数据源节点；

选择模块，用于根据所述数据源节点的连接质量指标，从所述命中模块在每个组的命中匹配的数据源节点中选择一个连接质量最优的数据源节点；

获取模块，用于从所述选择模块选择的连接质量最优的数据源节点中获取数据。

所述装置还包括：

初始化模块，用于初始化所述数据源节点的连接质量指标，使得所述连接质量指标的初始值保证所述数据源节点都符合连接请求。

所述分组模块，

具体用于将符合连接请求的数据源节点按照地域分布进行分组；或者，

具体用于将符合连接请求的数据源节点按照运营商进行分组。

所述命中模块，具体用于：

在每组数据源节点中将所述连接请求的通用资源标识符URI作为所述哈希映射规则中哈希函数的输入，命中匹配的数据源节点。

所述装置还包括：