[发明专利]文本元素的特定性排序及其应用

说明书

按照特定性对多个文本元素进行排序，每个文本元素包括至少一个单词。对于待排序的每个文本元素，本方法包括：计算将文本元素定位在嵌入空间中的嵌入向量；以及从参考文本中选择一组文本片段。这些文本片段中的每一个文本片段包含待排序的文本元素和进一步的文本元素。对于每个文本片段，该方法计算在嵌入空间中另外的文本元素之间的相应距离。该方法还包括计算待排序的文本元素的特定性得分并存储该特定性得分。在对多个文本元素进行排序之后，可以处理使用文本元素的特定性得分来从数据结构中提取具有期望特定性的数据的文本数据结构。

背景技术

本发明总体上涉及文本元素的特定性排序。提供了用于通过特定性来对多个文本元素进行排序的计算机实现的方法，以及此类方法的应用。还提供了实现这些方法的系统和计算机程序产品。

文本元素(例如词语或短语)的特定性是包含在那些元素中的信息量的量度。当文本元素在给定域中包含大量信息时，该元素高度特定于该域，反之亦然。已经在搜索系统的上下文中估计文本的特定性，以评估是否返回搜索查询的一般或特定搜索结果，或者向用户建议备选搜索查询。大多数用于估计特定性的现有技术使用基于分析语音部分(例如，名词修改的频率)或特定术语的出现频率的统计。一种技术使用从在经由字嵌入方案生成的嵌入空间中定位那些项的矢量导出的不同度量来评估项的特定性。该技术采用通过分析预训练嵌入的嵌入矢量的分布而获得的度量。一旦嵌入矩阵被训练，嵌入空间中的向量分布是用于评估特定性的唯一因素。

发明内容

本发明的一个方面提供一种用于按照特定性对多个文本元素进行排序的计算机实现的方法，每个文本元素包括至少一个词。对于待排序的每个文本元素，该方法包括通过字嵌入方案来计算将该文本元素定位在嵌入空间中的嵌入向量，并且从参考文本中选择一组文本片段。这些文本片段中的每一个文本片段包含待排序的文本元素和进一步的文本元素。对于每个文本片段，该方法计算在嵌入空间中另外的文本元素与待排序的文本元素之间的相应距离，每个文本元素通过经由单词嵌入方案计算的嵌入向量位于所述空间中。该方法还包括根据前面提到的距离计算待排序的文本元素的特定性得分，并且存储特定性得分。多个文本元素的所得特定性得分通过特定性定义文本元素的排序。

本发明的相应进一步的实施例提供适于实现如上所述的对文本元素进行排序的方法的计算系统，以及包括计算机可读存储介质的计算机程序产品，该计算机可读存储介质体现可由计算系统执行以使计算系统实现这样的方法的程序指令。

附图说明

下面将参考附图通过示例性而非限制性实施例的方式来更详细地描述本发明的实施例。

图1是用于实施实施本发明的方法的计算系统的示意图；

图2示出体现本发明用于通过特定性对文本元素进行排序的系统的组件模块；

图3示出由图2中所示的系统执行的排序方法的步骤；

图4示出本发明的实施例中的文本元素排序系统的组件模块；

图5示出在图4中示出的系统中的字嵌入处理的步骤；

图6是字嵌入过程的示意图；

图7示出图4中所示的系统中的上下文片段选择器的操作；

图8示出图4所示的系统中的特定性得分计算过程的步骤；

图9A和9B示出在图4中所示的系统的实现方式中获得的特定性排序；以及

图10至13指示使用体现本发明的文本元素排序方法的应用的操作步骤。

具体实施方式

本发明的一些实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。