[发明专利]数据采集实现方法及装置，数据采集方法、装置及系统

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种数据采集实现方法及装置，数据采集方法、装置及系统。

背景技术

随着大数据技术的兴起，基于用户行为的各类数据统计和分析在各个行业广泛应用，成为重要的决策和研究手段，从互联网行业向传统行业渗透，成为互联网+的重要组成部分。B/S架构的WEB技术，无论在传统的PC机上，还是移动web都已日趋成熟，市场也日趋饱和，如何进一步挖掘市场的潜力，是众多web提供商的面临的重要问题，大数据技术的发展，无疑提供了最好的契机，通过整合已有的web业务，统计用户行为习惯，提供个性化，差异化的业务是未来重要的发展方向。用户行为的统计，数据就是原材料，其采集方式决定了数据的准确性，实时性，完整性，从而影响最后的分析结果。

对于B/S架构的web系统，目前的数据采集主要通过分析服务器侧日志或者旁路抓包的方式，此模式只能获取到交互信息，无法采集用户的前端体验数据。另外对于一些成熟的web系统和架构，其页面种类和业务众多，动一发而动全身，如果做较大修改，会影响现有的业务，

因此，如何在保持在现有的系统和架构不做改动的情况下，无法实现大量种类各异的业务数据或者用户的前端体验数据的采集。

发明内容

本发明实施例提供了一种数据采集实现方法及装置，数据采集方法、装置及系统，以至少解决相关技术中在现有的系统和架构不做改动的情况下，无法实现大量种类各异的业务数据或者用户的前端体验数据的采集的问题。

根据本发明的一个实施例，提供了一种数据采集实现方法，包括：获取用户设备发送的业务请求中的请求参数，并与预设策略进行匹配，其中，所述预设策略用于指示向所述用户设备返回的脚本；获取与匹配的预设策略对应的指定脚本，并将所述指定脚本返回到所述用户设备，其中，所述指定脚本为用于指示所述用户设备采集与所述业务请求对应的数据。

可选地，获取所述用户设备发送的业务请求中的请求参数，包括：接收所述用户设备通过服务器转发的所述业务请求，根据所述业务请求中的请求对象确定所述请求参数。

可选地，所述业务请求至少包括以下其中之一：页面地址、IP地址、手机号码段、用户信息、业务类型、请求类型。

可选地，将所述指定脚本植入到数据包中，并将所述数据包返回到所述用户设备，其中，所述数据包为服务器依据所述用户设备发送的业务请求生成的数据包。

可选地，所述预设策略通过以下方式生成：根据所述请求参数的组合以及脚本的组合，生成所述预设策略。

可选地，所述脚本至少包括以下其中之一：公共脚本、用于采集数据响应时长的脚本、用于采集页面渲染的脚本、用于采集页面驻留时长的脚本、用于采集登陆时长的脚本、用户采集页面操作轨迹的脚本以及用于采集视频业务的脚本。

可选地，所述公共脚本用于处理所述指定脚本中除所述公共脚本以外的其他脚本采集的数据。

根据本发明的另一个实施例，提供了一种数据采集方法，包括：向网关发送携带有请求参数的业务请求；接收所述网关发送的指定脚本，其中，所述指定脚本为与所述请求参数匹配的预设策略所对应的脚本，所述预设策略用于指示所述网关向所述用户设备返回的脚本；根据所述指定脚本采集与所述业务请求对应的数据。

可选地，接收所述网关发送的指定脚本，包括：接收服务器发送的数据包，其中，所述数据包中植入有所述指定脚本，所述数据包为所述服务器依据所述用户设备发送的业务请求生成的数据包。

可选地，所述方法还包括：通过所述指定脚本中的公共脚本，对所述指定脚本中除所述公共脚本以外的其他脚本采集的数据进行处理。

根据本发明的又一个实施例，提供了一种数据采集实现装置，包括：匹配模块，用于获取用户设备发送的业务请求中的请求参数，并与预设策略进行匹配，其中，所述预设策略用于指示向所述用户设备返回的脚本；返回模块，用于获取与匹配的预设策略对应的指定脚本，并将所述指定脚本返回到所述用户设备。其中，所述指定脚本为用于指示所述用户设备采集与所述业务请求对应的数据。

可选地，所述匹配模块还用于接收所述用户设备通过服务器转发的所述业务请求，根据所述业务请求中的请求对象确定所述请求参数。

可选地，所述发送模块还用于：将所述指定脚本植入到数据包中，并将所述数据包返回到所述用户设备，其中，所述数据包为服务器依据所述用户设备发送的业务请求生成的数据包。

可选地，所述装置还用于，根据所述请求参数的组合以及脚本的组合，生成所述预设策略。