[发明专利]一种融入实体描述分布式表示的实体搜索方法

说明书

本发明涉及一种融入实体描述分布式表示的实体搜索方法，所述方法包括下列步骤：有效词向量矩阵训练步骤，根据已有的训练样本进行训练，得到有效词向量矩阵；实体搜索排序步骤，将实体搜索相关文本嵌入到有效词向量矩阵中，得到实体搜索相关文本的分布式特征表达，根据分布式特征表达的结果进行实体搜索结果的相关性计算和排序，得到实体搜索结果的输出列表。与现有技术相比，本发明具有减少人工干预、降低特征工程工作以及有效提升实体搜索的准确率等优点。

技术领域

本发明涉及计算机科学与技术领域，尤其是涉及一种融入实体描述分布式表 示的实体搜索方法。

背景技术

在实体搜索引擎中，如何使得搜索系统能够有效理解用户实体搜索查询的意 图，进而返回准确的实体列表是十分重要的。返回的实体不仅仅只是与查询文本间 具有字面上的匹配，还应该具有一定的语义相关性。一个实体搜索查询文本通常是 用户输入的一个短文本，而系统返回的查询结果由两部分组成，一部分是实体文本， 另一部分是该实体的实体描述。实体搜索方法试图对所有的候选答案进行排序，从 而将满足实体搜索查询需求的候选答案尽可能排在列表前列。

传统基于规则的实体搜索方法需要大量的特征工程以获取单词或句子的语义 信息。由于短文本的灵活性，人工定义的规则不能覆盖所有的特征。这也导致传统 方法需要更多的人工干预以获得更好的查询结果。

现有方法的另一个问题是，在实体搜索系统中，用户的输入可能包含了多种语言，由于不同语言的语法规则不同，我们也不能使用同样的语法分析器来解析短文 本的结构和语义信息，这一个问题同样导致传统方法需要大量的人工干预。

发明内容

本发明的目的是针对上述问题提供一种融入实体描述分布式表示的实体搜索 方法。

本发明的目的可以通过以下技术方案来实现：

一种融入实体描述分布式表示的实体搜索方法，所述方法包括下列步骤：

有效词向量矩阵训练步骤，根据已有的训练样本进行训练，得到有效词向量矩阵；

实体搜索排序步骤，将实体搜索相关文本嵌入到有效词向量矩阵中，得到实体 搜索相关文本的分布式特征表达，根据分布式特征表达的结果进行实体搜索结果的 相关性计算和排序，得到实体搜索结果的输出列表。

优选地，所述有效词向量矩阵训练步骤包括下列步骤：

A1)对所有训练样本进行初始化，得到全体词向量矩阵；

A2)对步骤A1)得到的全体词向量矩阵进行随机采样，并构造得到多个词向 量矩阵训练样本；

A3)遍历所有的词向量矩阵训练样本，计算每一个词向量矩阵训练样本的损 失值，并根据梯度下降计算方法对全体词向量矩阵进行更新；

A4)判断步骤A3)计算得到的所有损失值之和是否趋于收敛，若是则进入步 骤A5)，若否则返回步骤A2)；

A5)将当前的全体词向量矩阵作为有效词向量矩阵进行输出。

优选地，所述词向量矩阵训练样本包含实体搜索查询文本样本、正相关实体文 本样本、负相关实体文本样本、正相关实体描述文本样本和负相关实体描述文本样 本。

优选地，所述根据梯度下降计算方法对全体词向量矩阵进行更新具体为：

其中，W_new为更新后的全体词向量矩阵，W_old为更新前的全体词向量矩阵，η为 固定的学习率，loss为词向量矩阵训练样本的损失值，▽loss为词向量矩阵训练样 本的损失值的梯度。

优选地，所述词向量矩阵训练样本的损失值具体为：