[发明专利]一种基于APP流量数据的基准点采集与清洗方法

说明书

本发明涉及一种基于APP流量数据的基准点采集与清洗方法，包括如下步骤：S1、从APP流量数据中提取IP与其对应的地理位置信息，形成IP历史位置数据；S2、基于S1得到的IP历史位置数据及与其对应地理位置信息，根据出现的时间和地理位置以及出现次数，清洗和过滤数据；S3、通过聚类定位算法，对清洗后的IP历史位置数据进行聚类，形成有效的基准点数据；本发明提供的基准点采集与清洗方法，先结合协议解析技术和文本分析技术从APP流量数据中提取源IP与其对应地理位置信息，再经过过滤和清洗，最后通过聚类形成可用的准点数据。

技术领域

本发明属于IP定位技术领域，具体涉及一种基于APP流量数据的基准点采集与清洗方法。

背景技术

IP定位技术，是通过设备的IP地址来确定其地理位置。在IP定位领域，超高精度的IP定位技术将数据挖掘(收集基准点)和网络测量相结合的方法，能够实现超高精度的IP定位。基准点由IP和其对应的地理位置组成。超高精度的IP定位技术应用领域非常广泛，政府部门，通过该服务可以对人民的网络行为进行社区粒度的舆情分析，从而充分地了解民意，做出更加利国利民的政策。安全部门，通过该服务能够获取网络攻击的源目标位置，提升网络安全防御能力。商业端的在线支付，通过该服务可以实现用户异地登录预警，提升交易的安全性。

随着智能手机的普及，人们在沟通、社交、娱乐等活动中越来越依赖于手机APP软件，在拥有APP流量数据的前提下，如何从中获取大量的具有位置信息的IP形成基准点数据，为超高精度IP定位技术的实现提供重要的数据支撑，是一个亟待解决的问题。

发明内容

本发明的目的是为了解决背景技术中所提出的问题，而提供一种基于APP流量数据的基准点采集与清洗方法，先结合协议解析技术和文本分析技术从APP流量数据中提取源IP与其对应地理位置信息，再经过过滤和清洗，最后通过聚类形成可用的准点数据。

本发明的目的是这样实现的：

一种基于APP流量数据的基准点采集与清洗方法，包括如下步骤：

S1、从APP流量数据中提取IP与其对应的地理位置信息，形成IP历史位置数据；

S2、基于S1得到的IP历史位置数据及与其对应地理位置信息，根据出现的时间和地理位置以及出现次数，清洗和过滤数据；

S3、通过聚类定位算法，对清洗后的IP历史位置数据进行聚类，形成有效的基准点数据。

优选的，S1中，结合协议解析技术和文本分析技术，从APP流量数据中提取用户IP及与其对应地理位置信息，形成IP历史位置数据。

优选的，S2中，清洗和过滤数据的具体步骤如下：

S2-1、基于得到的IP历史位置数据，针对每个IP，筛选一定时期内曾出现的地理位置，形成该IP的有效历史位置数据；

S2-2、基于S2-1的IP有效历史位置数据，将包含IP历史位置数据的行政区域作为正常覆盖的行政区域，删除出现在非正常覆盖的行政区域外的历史位置数据，实现对IP历史位置数据的清洗；

S2-3、针对每一个IP，删除出现次数少于4个历史位置的IP历史位置数据，保证基准点数据的准确性。

优选的，S3中，使用以距离远近来聚类的算法，对清洗后的IP历史位置数据进行聚类，聚类结果以一个中心位置的经度、纬度和对应的半径表示，形成有效的基准点数据。

优选的，S3中，所述的聚类定位算法包括如下步骤：

步骤一、利用APP的移动数据中的MDT数据通过AP算法进行聚类，得到覆盖问题点；

步骤二、将覆盖问题点基于经纬度通过DBSCAN算法进行聚类，得到地理范围上较为密集的区域，为问题解决提供优先级。