[发明专利]网站数据更新方法和系统

说明书

技术领域

本发明涉及互联网技术领域，特别是涉及一种网站数据更新方法和系统。

背景技术

随着互联网技术的发展，许多行业对来自相关网站的数据的依赖程度越来越高。传统的网站数据更新一般使用离线数据，即第N天使用及分析的网站数据实际上使用的第N-1天及以前的数据。这种网站数据更新方法无法反应出当天实际数据对网站所开展的业务的影响，一般只适用于对实时数据依赖度不高的行业，而对于一些对实时数据依赖度高的网站而言，比如垂直电商等，其对实时数据的敏感程度远高于历史数据，这些网站亟需实时数据能够参与到网站数据更新中去，因此现有的网站数据更新方法便无法满足如垂直电商这一类对数据更新速度要求快的网站，甚至有可能由于对网站数据分析不及时而影响业务开展进程及效率。

发明内容

基于此，有必要针对现有的网站数据更新方法无法满足如垂直电商这一类对数据更新速度要求快的网站，甚至有可能由于对网站数据分析不及时而影响业务开展进程及效率的技术问题，提供一种网站数据更新方法和系统。

一种网站数据更新方法，包括如下步骤：

获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；

将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；

在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；

将所述网站日志以及实时业务数据上传至分布式消息队列；

在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；

分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；

利用合并后的网站日志以及实时业务数据更新网站数据。

一种网站数据更新系统，包括：

获取模块，用于获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；

第一上传模块，用于将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；

第一处理模块，用于在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；

第二上传模块，用于将所述网站日志以及实时业务数据上传至分布式消息队列；

第二处理模块，用于在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；

合并模块，用于分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；

更新模块，用于利用合并后的网站日志以及实时业务数据更新网站数据。

上述网站数据更新方法和系统，通过将网站所对应的web服务器的网站日志以及网站的实时业务数据分别上传基于分布式系统基础架构的数据库以及分布式消息队列，分别在其所在的数据库以及分布式消息队列中进行过滤及分类处理，并将数据库以及分布式消息队列中过滤及分类处理后的网站日志和实时业务数据进行合并，并利用合并后的网站日志以及实时业务数据更新网站数据。本发明中，利用可以反映该网站的实时业务数据，并结合网站日志所包含的网站历史数据更新网站数据，使所更新的网站数据能准确反映对应的客户端所获取的实时业务数据，保证了网站更新的数据的速度和质量，根据更新后的网站数据进行后续的分析并采取相关应对措施，可以进一步提高该网站处理相应业务的效率。

附图说明

图1为一个实施例的网站数据更新方法流程图；

图2为一个实施例的分布式消息队列数据上传方法流程图；

图3为一个实施例的过滤及分类处理方法流程图；

图4为一个实施例的过滤及分类处理方法流程图；

图5为一个实施例的网站数据更新系统结构示意图；

图6为一个实施例的第二上传模块结构示意图；

图7为一个实施例的第一处理模块结构示意图；

图8为一个实施例的第二处理模块结构示意图。

具体实施方式

下面结合附图对本发明的网站数据更新方法和系统的具体实施方式作详细描述。

参考图1，图1所示为一个实施例的网站数据更新方法流程图，包括如下步骤：