[发明专利]用于生成信息的方法和装置

说明书

本公开的实施例公开了用于生成信息的方法和装置。该方法的一具体实施方式包括：获取页面请求；基于从该页面请求中提取的请求信息，生成请求特征向量；将请求特征向量输入至预先训练的请求类型在线识别模型，得到请求类型信息，其中，请求类型在线识别模型用于表征请求特征向量和请求类型信息之间的对应关系，请求类型信息用于表征请求特征向量对应的页面请求是否属于预定类型。该实施方式实现了生成表征所获取的页面请求是否属于预定类型的识别结果。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及生成信息的方法和装置。

背景技术

随着互联网技术的飞速发展，网站的访问频次不断增加。在搜索技术领域，网络爬虫(web crawler)的使用也愈加广泛。由网络爬虫等非真实用户所带来的激增的访问量对后端服务器带来不小的压力。以由于网络爬虫的使用而产生的HTTP(Hyper Text TransferProtocol，超文本传输协议)请求为代表的页面请求需要耗费大量的网络资源，除了造成服务器资源的浪费，也给系统可用性带来了不可预期的风险。

相关的方式通常是依赖日志源与人为制定的识别策略来生成识别词典，将在上述词典中的访问请求判定为预定类型的请求。

发明内容

本公开的实施例提出了用于生成信息的方法和装置。

第一方面，本公开的实施例提供了一种用于生成信息的方法，该方法包括：获取页面请求；基于从页面请求中提取的请求信息，生成请求特征向量；将请求特征向量输入至预先训练的请求类型在线识别模型，得到请求类型信息，其中，请求类型在线识别模型用于表征请求特征向量和请求类型信息之间的对应关系，请求类型信息用于表征请求特征向量对应的页面请求是否属于预定类型。

在一些实施例中，上述基于从页面请求中提取的请求信息，生成请求特征向量，包括：从页面请求中提取请求信息，其中，请求信息包括发送页面请求的客户端的至少一个客户端标识信息；对于至少一个客户端标识信息中的客户端标识信息，根据该客户端标识信息和与该客户端标识信息对应的历史标识信息，生成该客户端标识信息的元素值；将所生成的至少一个元素值组成请求特征向量。

在一些实施例中，上述请求类型在线识别模型通过如下步骤训练得到：获取训练样本集合，训练样本包括样本请求特征向量和样本标注信息，其中，样本标注信息用于表征样本请求特征向量对应的样本页面请求是否属于预定类型；将训练样本集合中的训练样本的样本请求特征向量作为输入，将与输入的样本请求特征向量对应的样本标注信息作为期望输出，训练得到请求类型在线识别模型。

在一些实施例中，上述训练样本集合中的训练样本通过如下步骤得到：获取样本页面请求；基于从样本页面请求中提取的样本请求信息，生成样本请求特征向量，其中，样本请求信息包括样本页面请求对应的客户端的标识信息；根据样本请求信息所包括的标识信息与预定请求类型标识信息集合的匹配，生成与样本请求特征向量对应的样本标注信息；将样本请求特征向量和与样本请求特征向量对应的样本标注信息关联存储，组成训练样本。

在一些实施例中，上述预定请求类型标识信息集合通过如下步骤生成：获取历史页面请求；基于从历史页面请求中提取的历史请求信息，生成历史请求特征向量，其中，历史请求信息包括历史页面请求对应的客户端的标识信息；将历史请求特征向量输入至预先训练的请求类型离线识别模型，得到历史请求类型信息，其中，请求类型离线识别模型用于表征历史请求特征向量和历史请求类型信息之间的对应关系，历史请求类型信息用于表征历史请求特征向量对应的历史页面请求是否属于预定类型；响应于确定所得到的历史请求类型信息为表征历史请求特征向量对应的历史页面请求属于预定类型的信息，基于历史请求信息所包括的标识信息，生成预定请求类型标识信息集合。

在一些实施例中，该方法还包括：响应于确定所得到的请求类型信息为表征请求特征向量对应的页面请求属于预定类型的信息，发送与页面请求对应的、经过降级处理的响应信息。