[发明专利]一种识别宽带网络中独立用户账户的方法

摘要

一种识别宽带网络中独立用户账户的方法。本发明的技术方案利用运营商提供的海量Web日志数据找出cookie中标识用户账户的字段key。首先以统计的方式找到每个网站长期标识浏览器的cookie字段key；然后爬取指定网站主页下指向站内的URL；其次逐个访问这些URL，同时利用抓包的方式捕获浏览器和指定网站交互时而产生的cookie数据；再对抓取到的cookie数据进行筛选；利用海量的Web日志数据，先对指定网站的数据进行分组，然后删除每个组内的重复数据，其次排除掉在“排除字段集”中出现的字段，在全局范围检查value集中是否出现重复值情况，制定清洗规则，筛选剩余的字段key，最后缩小字段范围，甚至直接得到标识用户账户的字段。

主权项

一种识别宽带网络中独立用户账户的方法，其特征在于，步骤为：步骤1、利用一段时间内的历史Web日志识别每个网站用于标识浏览器的Cookie字段键key及该Cookie字段键key的Cookie字段值value；步骤2、针对指定网站S，爬取其首页的指向站内的所有URL，逐一访问所有URL，访问完毕后，清洗抓取的所有Cookie数据，将相应的Cookie字段放入排除字段集，再将保持在本地的所有Cookie数据删除后重复执行步骤2直至重复N次访问了指定网站S，N≥1，其中，清洗抓取的所有Cookie数据，将相应的Cookie字段放入排除字段集的具体步骤为：步骤401、将所有Cookie数据的各个Cookie字段按照不同的Cookie字段键key进行分组，相同Cookie字段键key的所有Cookie字段值value组成一个value集；步骤402、依次判断每个value集中所有Cookie字段值value是否发生变化，若发生变化，则将具有与该value集对应的Cookie字段键key的Cookie字段放入排除字段集中；步骤3、获取指定网站S的用户账户字段，其步骤为：步骤501、获取一段时间内的历史Web日志，针对指定网站S，将每条Web日志记录所包含的每行Cookie数据分为不同的Cookie数据组，同一Cookie数据组的所有Cookie数据必须同时满足：所对应的Web日志记录具有相同的ADSL设备ID值、所对应的Web日志记录具有相同的用户代理User Agent值、所对应的Web日志记录具有相同的主机HOST名、具有相同的步骤1获得的用于标识浏览器的Cookie字段键key所对应的Cookie字段值value，并将每行Cookie数据按照Cookie字段键key‑Cookie字段值value对的形式进行拆分，得到每行Cookie数据的key‑value字段；步骤502、删除每个Cookie数据组中，重复的ADSL设备ID值、用户代理User Agent值、主机HOST名及用于标识浏览器的Cookie字段键key所对应的Cookie字段值value，组成一行新的数据行，每行数据行包括ADSL设备ID值、用户代理User Agent值、主机HOST名、用于标识浏览器的Cookie字段键key所对应的Cookie字段值value及key‑value字段；步骤503、拆分每行数据行的key‑value字段，将相同Cookie字段键key所对应的所有Cookie字段值value合并为value集；步骤504、将步骤503得到的Cookie字段键key与排除字段集相匹配，若排除字段集含有该Cookie字段键key，将该Cookie字段键key及其对应的步骤503得到的value集删除；步骤505、在全局范围内检查步骤503得到的value集中的各个Cookie字段值value是否存在重复值，若存在，则取出该value集及其对应的Cookie字段键key；步骤506、利用清洗规则筛选由步骤505取出的所有Cookie字段键key及其对应的value集，将剩余的Cookie字段键key及将其对应的value集的值作为Cookie字段值value组成的Cookie字段作为用户账户字段，其中，清洗规则至少为：Cookie字段值value长度不能小于A1，也不能大于A2和/或Cookie字段值value不能包含特殊字符，A1及A2为经验阈值，且A1<A2。