[发明专利]基于搜索引擎的搜索效果检测方法及装置

说明书

本发明实施例提供一种基于搜索引擎的搜索效果检测方法，包括：获取搜索行为特征和搜索效果标注；利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。本发明实施例根据搜索引擎的日志数据获取搜索行为特征以及对搜索行为进行人工标注以获取搜索效果标注，并结合人工智能算法实现人工智能评价搜索效果，减少人工标注投入，提前发现问题以改进搜索引擎从而减少用户投诉和反馈，改善用户体验以及提高电商平台的成交金额。

技术领域

本发明属于计算机技术技术领域，更具体地，涉及一种基于搜索引擎的搜索效果检测方法及装置。

背景技术

为了优化搜索引擎召回的质量以及提高GMV(Gross Merchandise Volume成交总额)，搜索引擎每周都有新功能或者优化提测需要上线。同时，搜索引擎每天都有大量的商品上下架和状态变更，同时用户的点击商品、浏览商品详情页和购买等行为时刻都在大量发生，这些都会时刻影响搜索结果。

电商平台系统中的搜索引擎主要面向对象是商品，其目的是让用户更快的找到满意的商品，卖家有机会曝光自己的商品，而电商平台也可以借助它来维护良好的平台生态。因此，搜索引擎的搜索效果不仅要考虑买家，信息消费方的结果相关性、多样性、个性化等；还得考虑卖家，信息提供方商品曝光率；并且还需要兼顾平台的生态，减少作弊商品的曝光率，提高热销或者参与平台活动商品的曝光率。

目前，搜索效果检测方法主要如下：

1、人工评价和标注，即产品经理和研发对新的搜索算法效果进行人工评价以及专职的数据标注员对线上运行的搜索效果进行评价和标注。然而，人工评价质量与人的经验、工作量有关，且带有主观判断，导致人工评价和标注质量不可控；人工评价的覆盖率和人力成本很难平衡，覆盖率越高，人力成本也越高；人工评价的效率不能满足搜索算法敏捷开发的需要。

2、收集投诉和反馈，即建立有效的沟通渠道，收集用户(买家)、卖家和平台的反馈与投诉，也是一种检测电商搜索效果的后置方法。然而该方法周期长，不能及时发现问题；效果问题已经影响到了用户，可能已经造成难以弥补的经济损失；只能发现部分问题，如果没有反馈，就无法发现。

3、规则匹配，即开发测试代码，制定过滤规则，当满足某些特定规则，程序判定搜索效果好或者坏。由于搜索行为和商品差别很大，该方法存在很大的局限性，误判率高、规则不能及时更新。

然而，上述的搜索效果检测方法存在质量不可控、效率低、成本高、不及时等问题。

发明内容

有鉴于此，本发明实施例提供基于搜索引擎的搜索效果检测方法和装置，利用搜索行为特征和搜索效果标注，结合人工智能算法，完成搜索引擎的搜索效果检测。

根据本发明实施例的第一方面，提供一种基于搜索引擎的搜索效果检测方法，包括：

获取搜索行为特征和搜索效果标注；

利用人工智能算法，根据搜索行为特征和搜索效果标注计算搜索引擎的效果检测结果。

优选地，获取搜索行为特征和搜索效果标注包括：

获取用户访问搜索引擎的日志数据；

根据所述日志数据获取搜索行为特征；

根据所述搜索行为特征对搜索行为进行人工批注以获取搜索效果标注。

优选地，所述搜索行为特征包括召回商品的单边特征、搜索关键词与召回商品的双边特征、用户与召回商品的双边特征中的至少一个。

优选地，所述搜索行为特征包括品牌集中度、价格集中度、销量集中度、相关度、个性化中的至少一个。

优选地，所述搜索效果检测方法还包括：

根据结构化类别对搜索行为按层次分类；