[发明专利]识别噪声query的方法、装置、电子设备和可读存储介质

说明书

本申请提供了一种识别噪声query的方法、装置、电子设备和可读存储介质，属于大数据技术领域。所述方法包括：获取目标query，其中，所述目标query用于指示搜索引擎接收到的查询词句；将所述目标query输入特征抽取模块，得到目标query的特征，其中，所述目标query的特征包括模板匹配特征、搜索文档生成概率和搜索日志生成概率，所述搜索文档生成概率用于指示所述目标query在搜索文档集中的稀疏性特征，所述搜索日志生成概率用于指示所述目标query在搜索日志集中的稀疏性特征；将所述目标query的特征输入目标识别模型，得到识别结果，其中，所述识别结果用于指示所述目标query是否为噪声query。本申请提高了目标query识别的覆盖率。

技术领域

本申请涉及大数据领域，尤其涉及一种识别噪声query的方法、装置、电子设备和可读存储介质。

背景技术

搜索引擎经常会收到用户输入的无意义的噪声查询词，即噪声query，噪声query通常是长尾低频query，不会命中搜索结果缓存，甚至会触发二级索引甚至多级索引，导致在线服务压力变大，服务器不稳定，因此服务器需要识别噪声query。

目前识别query识别主要依靠噪声模板完成，噪声模板包括query过长 (例如超过50个字符)；query为重复单字(例如“我我我我我我”)；query 为无单词拉丁字符(例如“asdfghjkl”)，噪声模板特征可以表征query是否为噪声query。

但是仅依靠噪声模板只能是识别少数的部分噪声query，对于复杂的噪声query，仅利用噪声模板是无法有效识别噪声query的，这导致现有技术中噪声query的识别覆盖率低。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种识别噪声query的方法、装置、电子设备和可读存储介质。

第一方面，本申请提供了一种识别噪声query的方法，所述方法包括：

获取目标query，其中，所述目标query用于指示搜索引擎接收到的查询词句；

将所述目标query输入特征抽取模块，得到目标query的特征，其中，所述目标query的特征包括模板匹配特征、搜索文档生成概率和搜索日志生成概率，所述搜索文档生成概率用于指示所述目标query在搜索文档集中的稀疏性特征，所述搜索日志生成概率用于指示所述目标query在搜索日志集中的稀疏性特征；

将所述目标query的特征输入目标识别模型，得到识别结果，其中，所述识别结果用于指示所述目标query是否为噪声query。

可选地，所述得到目标query的特征包括：

根据预设的噪声模板获取目标query的模板匹配特征；

根据所述目标query的每个目标N元组在所述搜索文档集中的文档频率特征，确定所述目标query的搜索文档生成概率，其中，所述目标N元组包括所述目标query的N个连续的词汇；

根据所述目标query的每个目标N元组在预设时段内的搜索日志集中的日志频率特征，确定所述目标query的搜索日志生成概率。

可选地，所述根据所述目标query在所述搜索文档集中的文档频率特征，确定所述目标query的搜索文档生成概率包括：

将所述目标query拆分为多个目标N元组；

根据预设的第一字典，确定每个目标N元组针对搜索文档集出现的文档频率特征，其中，所述第一字典中包含所述搜索文档集下第一N元组和第一频率特征之间的对应关系；

根据所述目标query的每个文档频率特征，生成所述搜索文档生成概率。