[发明专利]一种基于配置权限的数据采集方法及装置

说明书

本申请公开了一种基于配置权限的数据采集方法及装置，其中，方法包括：SDK与服务器建立长连接；SDK采集第一数据字段和第二数据字段，第一数据字段为推送必要字段，第二数据字段为推送非必要字段；SDK按照服务器的数据格式上报第一数据字段和第二数据字段，并在上报接口的请求体中增加第一标识变量；若请求体中的第一标识变量与服务器中存储介质的第二标识变量不一致时，SDK接收服务器发送的同步配置更改信息，配置更改信息为第二标识变量；SDK按照配置更改信息更新第一数据字段和第二数据字段，并向服务器发送更新结果信息；SDK采集更新后的第一数据字段和第二数据字段；SDK按照服务器的数据格式上报更新后的第一数据字段和第二数据字段。

技术领域

本申请涉及大数据技术领域，具体涉及一种基于配置权限的数据采集方法及装置。

背景技术

互联网的飞速发展将社会带入数据高度发达且公开的信息时代，数据对于企业经营、政府决策以及社会动态分析等具有极其重要的作用。某些业务平台每天都会有大量的用户访问，从而产生大量的访问日志数据，比如电商系统的浏览，加入购物车、下订单、付款等一系列流程都可以通过埋点获取到用户的访问路径以及访问时长等相关数据；再比如智能穿戴设备，实时采集用户的血压、脉搏、心率等数据实时上报到云端。通过对这些日志信息进行采集，然后进行数据分析，可以得到很多业务价值，挖掘相应业务平台日志数据中的潜在价值。

基于大数据平台的互联网数据采集技术就是收集日志数据提供离线和在线的实时分析使用，目前的数据采集策略是依据设定的目标数据进行采集，但是随着数据管理安全条例逐渐完善，数据采集的限定越来越严格，若获取的目标数据中存在敏感数据会导致应用程序无法正常运行。

发明内容

本申请提供了一种基于配置权限的数据采集方法及装置，用于通过移动设备的开放权限进行灵活的数据采集。

本申请第一方面提供了一种基于配置权限的数据采集方法，包括：

软件开发工具包(Software Development Kit，SDK)与服务器建立长连接；

所述SDK采集第一数据字段和第二数据字段，所述第一数据字段为推送必要字段，所述第二数据字段为推送非必要字段；

所述SDK按照所述服务器的数据格式上报所述第一数据字段和所述第二数据字段，并在上报接口的请求体中增加第一标识变量；

若所述请求体中的第一标识变量与所述服务器中存储介质的第二标识变量不一致时，所述SDK接收所述服务器发送的同步配置更改信息，所述配置更改信息为所述第二标识变量；

所述SDK按照所述配置更改信息更新所述第一数据字段和第二数据字段，并向所述服务器发送更新结果信息；

所述SDK采集更新后的第一数据字段和第二数据字段；

所述SDK按照所述服务器的数据格式上报所述更新后的第一数据字段和第二数据字段。

可选的，所述SDK按照所述服务器的数据格式上报所述第一数据字段和所述第二数据字段，并在上报接口的请求体中增加第一标识变量之后，若所述请求体中的第一标识变量与所述服务器中存储介质的第二标识变量不一致时，所述SDK接收所述服务器发送的同步配置更改信息之前，所述方法还包括：

若所述请求体中的第一标识变化与所述服务器中存储介质的第二标识变量一致时，所述SDK按预设时间将所述第一数据字段与所述第二数据字段上报至所述服务器。

可选的，所述SDK按照所述服务器的数据格式上报所述更新后的第一数据字段和第二数据字段，包括；

所述SDK按预设时间将所述第一数据字段与所述第二数据字段上报至所述服务器。

可选的，其特征在于，若采集的所述第二数据字段中的某些数据不成功时，则上报空数据。