[发明专利]数据预处理方法、装置和计算机可读存储介质

权利要求书

1.一种数据预处理方法，包括：

获取超文本传输协议HTTP数据；

获取所述HTTP数据中的用户代理UserAgent字段信息；

获取与所述UserAgent字段信息相关联的标识，包括：

判断匹配数据中是否存在与所述UserAgent字段信息相关联的标识；

若不存在与所述UserAgent字段信息相关联的标识，则为所述UserAgent字段信息分配相关联的唯一的标识，包括：判断已有标识是否达到所述标识的长度的容量范围；若达到所述标识的长度的容量范围，则按照预定粒度增加所述标识的长度并为UserAgent字段信息分配标识；

在所述匹配数据中记录所述UserAgent字段信息与标识的关联关系；其中，所述标识的长度小于所述UserAgent字段信息的长度；

用所述标识替换所述UserAgent字段信息以减少所述HTTP数据的空间占用量。

2.根据权利要求1所述的方法，其中，所述获取与所述UserAgent字段信息相关联的标识还包括：

若存在与所述UserAgent字段信息相关联的标识，则提取所述匹配数据中与所述UserAgent字段信息相关联的标识。

3.根据权利要求2所述的方法，其中，所述为所述UserAgent字段信息分配相关联的唯一的标识还包括：

若未达到所述标识的长度的容量范围，则分配与已有标识等长的唯一标识。

4.根据权利要求1所述的方法，还包括：

获取所述HTTP数据中的Cookie字段的信息；

将所述Cookie字段的信息整理为身份地图Id-Mapping格式以减少所述HTTP数据的空间占用量，所述Id-Mapping格式为以用户身份标识号ID为索引，记录每个用户访问的URL信息。

5.根据权利要求4所述的方法，其中，所述将所述Cookie字段的信息整理为Id-Mapping格式包括：

解析所述Cookie字段的信息，判断存储的Cookie信息中是否包括与所述Cookie字段中相同的用户信息和相同的统一资源定位符URL信息；

若已包括与所述Cookie字段中相同的用户信息和URL信息，则新建时间戳更新所述存储的Cookie信息中相同的用户信息和URL信息；

若已包括与所述Cookie字段中相同的用户信息，不包括相同的所述URL信息，则根据所述Cookie字段中的URL信息新建以用户信息为索引存储的URL信息；

若不包括与所述Cookie字段中相同的用户信息，则根据所述Cookie字段中的URL信息和用户信息新建存储的用户信息和URL信息。

6.根据权利要求5所述的方法，还包括：

若无法成功解析所述Cookie字段的信息，则将所述Cookie信息存储在Cookie表中。

7.一种数据预处理装置，包括：

数据获取单元，被配置为获取超文本传输协议HTTP数据；

字段信息获取单元，被配置为获取所述HTTP数据中的用户代理UserAgent字段信息；

标识获取单元，被配置为获取与所述UserAgent字段信息相关联的标识，所述标识的长度小于所述UserAgent字段信息的长度，包括：

判断子单元，被配置为判断匹配数据中是否存在与所述UserAgent字段信息相关联的标识；

标识分配子单元，被配置为若不存在与所述UserAgent字段信息相关联的标识，则为所述UserAgent字段信息分配相关联的唯一的标识，包括：判断已有标识是否达到所述标识的长度的容量范围；若达到所述标识的长度的容量范围，则按照预定粒度增加所述标识的长度并为UserAgent字段信息分配标识；还被配置为在所述匹配数据中记录所述UserAgent字段信息与标识的关联关系；

替换单元，被配置为用所述标识替换所述UserAgent字段信息以减少所述HTTP数据的空间占用量。