[发明专利]用于网站集群的数据处理方法和装置

说明书

技术领域

本发明涉及数据处理领域，具体而言，涉及一种用于网站集群的数据处理方法和装置。

背景技术

网站集群是指一群能够进行数据共享、数据呈送的相互关联的网站的集合。目前，在相关技术中，在统计某个网站集群内各个网站到该网站集群内其它网站的数据链入链出的流量值时，通常采用传统的统计方式，即，先从各个数据库中抽取链入链出到目标网站的所有数据，再过滤掉不属于目标网站所在的网站集群内的其他网站的数据，得到过滤后的数据，然后统计过滤后的数据的流量值，并将这些数据插入到目标数据源中。

然而，在上述统计方案中，由于要对目标网站的所有数据源中的数据进行全部抽取，导致需要抽取很多无关数据，增加了数据抽取负担，并且降低了系统性能以及数据传输速度。

针对相关技术中在统计网站集群中的目标网站的数据链入链出的流量值时，导致需要抽取很多无关数据的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种用于网站集群的数据处理方法和装置，以解决相关技术中在统计网站集群中的目标网站的数据链入链出的流量值时，导致需要抽取很多无关数据的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种用于网站集群的数据处理方法。该方法包括：获取目标网站的配置信息，所述配置信息为所述目标网站与链入链出网站之间的配置关系的信息，所述链入链出网站为与所述目标网站之间存在数据链入链出的网站，所述目标网站和所述链入链出网站为同一网站集群中的网站；获取所述目标网站的数据源，所述数据源用于存储所述目标网站的链入链出数据；通过所述配置信息对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据；以及统计所述过滤后的链入链出数据的流量值。

进一步地，通过所述配置信息对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据包括：根据所述配置信息生成结构化查询语言SQL配置语句；执行所述SQL配置语句以生成临时表，所述临时表用于存储所述配置信息；以及根据所述临时表对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据。

进一步地，根据所述配置信息生成结构化查询语言SQL配置语句包括：将所述配置信息进行转化，得到转化信息；申明临时表变量；以及将所述转化信息插入临时表变量，得到所述SQL配置语句。

进一步地，在统计所述过滤后的链入链出数据的流量值之前，所述数据处理方法还包括：获取结构化查询语言SQL抽取语句；通过所述SQL抽取语句对过滤后的链入链出数据进行抽取，得到抽取后的链入链出数据，其中，统计所述抽取后的链入链出数据的流量值。

进一步地，在通过所述SQL抽取语句对过滤后的链入链出数据进行抽取，得到抽取后的链入链出数据之后，所述数据处理方法还包括：将抽取得到的链入链出数据存储至目标数据库中；或者将所述抽取得到的链入链出数据存储至数据仓库中。

为了实现上述目的，根据本发明的另一方面，提供了一种用于网站集群的数据处理装置。该装置包括：第一获取单元，用于获取目标网站的配置信息，所述配置信息为所述目标网站与链入链出网站之间的配置关系的信息，所述链入链出网站为与所述目标网站之间存在数据链入链出的网站，所述目标网站和所述链入链出网站为同一网站集群中的网站；第二获取单元，用于获取所述目标网站的数据源，所述数据源用于存储所述目标网站的链入链出数据；过滤单元，用于通过所述配置信息对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据；以及统计单元，用于统计所述过滤后的链入链出数据的流量值。

进一步地，所述过滤单元包括：生成模块，用于根据所述配置信息生成结构化查询语言SQL配置语句；执行模块，用于执行所述SQL配置语句以生成临时表，所述临时表用于存储所述配置信息；以及过滤模块，用于根据所述临时表对所述数据源中的链入链出数据进行过滤，得到过滤后的链入链出数据。

进一步地，所述生成模块包括：转化子模块，用于将所述配置信息进行转化，得到转化信息；申明子模块，用于申明临时表变量；以及插入子模块，用于将所述转化信息插入临时表变量，得到所述SQL配置语句。

进一步地，所述数据处理装置还包括：第三获取单元，用于在统计所述过滤后的链入链出数据的流量值之前，获取结构化查询语言SQL抽取语句；抽取单元，用于通过所述SQL抽取语句对过滤后的链入链出数据进行抽取，得到抽取后的链入链出数据，其中，所述统计单元还用于统计所述抽取后的链入链出数据的流量值。