[发明专利]网站数据更新方法和系统

权利要求书

1.一种网站数据更新方法，其特征在于，包括如下步骤：

获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；所述网站日志指以预设时间段为单位记录网站所在服务器接收该网站的业务请求以及运行时的出现的异常情况的消息或者文件；

将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；

在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；

将所述网站日志以及实时业务数据上传至分布式消息队列；

在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；

分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；

利用合并后的网站日志以及实时业务数据更新网站数据。

2.根据权利要求1所述的网站数据更新方法，其特征在于，所述将所述网站日志以及实时业务数据上传至分布式消息队列的步骤包括：

将网站日志所包含的网站数据分解成若干条消息；

分别将每条消息传送至分布式消息队列；

将从网站日志更新的最后时刻至当前时刻内该网站的实时业务数据对应的消息传送至分布式消息队列。

3.根据权利要求1所述的网站数据更新方法，其特征在于，所述在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理的步骤包括：

筛选出所述数据库中的网站日志以及实时业务数据中的非法数据，并进行删除；

在数据库中将所述网站日志以及实时业务数据按照访问网站的会员类型、以及在该网站的停留时间进行分类，得到第一分类网站日志和实时业务数据并进行存储。

4.根据权利要求1所述的网站数据更新方法，其特征在于，所述在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理的步骤包括：

将分布式消息队列中的网站日志以及实时业务数据同步至strom系统；

在strom系统中筛选出每条消息所对应的网站日志或者实时业务数据中的非法数据，并进行删除；

在strom系统中将所述网站日志以及实时业务数据按照访问网站的会员类型、以及在该网站的停留时间进行分类，得到第二分类网站日志和实时业务数据。

5.根据权利要求1所述的网站数据更新方法，其特征在于，所述在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理的步骤后还包括：

将分布式消息队列中过滤及分类处理后的网站日志以及实时业务数据存储至redis存储系统。

6.一种网站数据更新系统，其特征在于，包括：

获取模块，用于获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；所述网站日志指以预设时间段为单位记录网站所在服务器接收该网站的业务请求以及运行时的出现的异常情况的消息或者文件；

第一上传模块，用于将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；

第一处理模块，用于在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；

第二上传模块，用于将所述网站日志以及实时业务数据上传至分布式消息队列；

第二处理模块，用于在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；

合并模块，用于分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；

更新模块，用于利用合并后的网站日志以及实时业务数据更新网站数据。

7.根据权利要求6所述的网站数据更新系统，其特征在于，所述第二上传模块包括：

分解单元，用于将网站日志所包含的网站数据分解成若干条消息；

第一传送单元，用于分别将每条消息传送至分布式消息队列；

第二传送单元，用于将从网站日志更新的最后时刻至当前时刻内该网站的实时业务数据对应的消息传送至分布式消息队列。