[发明专利]一种目标数据集生成方法、装置及电子设备

说明书

本发明实施例提供了一种目标数据集生成方法、装置及电子设备，所述方法包括：针对每一预设查询词，获取所述每一预设查询词对应的搜索日志；针对所述搜索日志中的每一条日志，根据所述每一条日志和与所述每一条日志对应的文件的信息，获取所述每一条日志的第一特征，根据所述与所述每一条日志对应的文件被播放的时长与预设阈值的对应关系、以及所述预设阈值与相关性值的对应关系，获取所述与所述每一条日志对应的文件的相关性值；根据所述第一特征和所述相关性值生成目标数据集。应用本发明实施例，可以提高数据集的生成效率。

技术领域

本发明涉及检索技术领域，特别是涉及一种目标数据集生成方法、装置及电子设备。

背景技术

随着网络上的文件越来越多，在向用户展示对应于查询词的文件时，需要对相关文件进行排序后再行显示。对于不同的文件和查询词，确定出来的排序模型也是多种多样的。由于数据模型较多，无法确定出哪一种排序模型的效果比较好，因此需要对确定出来的排序模型进行验证。

目前，常用数据集对排序模型进行验证，在进行验证之前，首先需要生成数据集。一般来说，数据集的生成方法为，将用户输入的查询词分别与该查询词对应的文件生成查询词-文件对，然后，针对每一个查询词-文件对，根据查询词与文件之间的相关性的大小，人工确定该文件与查询词之间的相关性值。再将该相关性值、查询词以及文件的相关信息作为一个数据单元，进而由多个数据单元组成一个数据集。

但是，现有技术中数据集包含的数据单元的数量为数万个，每一个都需要由人工的方式生成，费时费力，因此应用现有技术存在生成数据集的效率比较低的技术问题。

发明内容

本发明实施例的目的在于提供一种目标数据集生成方法、装置及电子设备，以实现提高数据集的生成效率的目的。具体技术方案如下：

第一方面，本发明实施例提供了一种目标数据集生成方法，所述方法包括：

针对每一预设查询词，获取所述每一预设查询词对应的搜索日志；

针对所述搜索日志中的每一条日志，根据所述每一条日志和与所述每一条日志对应的文件的信息，获取所述每一条日志的第一特征，其中，所述第一特征至少包括：事件ID、查询词和文件ID中的一种；

针对每一个与所述每一条日志对应的文件，根据预设的该文件被播放的时长与预设阈值的对应关系、以及预设的预设阈值与相关性值的对应关系，获取与所述每一条日志对应的文件的相关性值，其中，所述相关性值为与所述每一条日志对应的文件与所述预设查询词的关联程度的量化参数；

根据所述第一特征和所述相关性值生成目标数据集。

可选的，在根据所述第一特征和所述相关性值生成目标数据集之前，所述方法还包括：

针对每一用户，根据所述每一用户的搜索日志，获取所述每一用户的第二特征，其中，所述第二特征至少包括：所述每一用户的预设查询词对应的历史检索次数、查询词点击熵、用户ID、视频历史点击率和用户的VIP会员信息中的一种；

所述根据所述第一特征和所述相关性值生成目标数据集，包括：

根据所述第一特征、所述相关性值以及第二特征生成目标数据集。

可选的，所述方法还包括：

根据所述搜索日志中的当前一条日志的时间特征、查询词以及用户ID中的一种，判断该条日志是否可用；

若该条日志可用，执行所述根据预设的该文件被播放的时长与预设阈值的对应关系、以及预设的预设阈值与相关性值的对应关系，获取与所述每一条日志对应的文件的相关性值的步骤。

若该条日志不可用，将所述当前一条日志的下一条日志设置为当前一条日志，并返回执行所述根据所述搜索日志中的当前一条日志的时间特征、查询词以及用户ID中的一种，判断该条日志是否可用的步骤。