[发明专利]词汇相关性确定方法、装置、设备和计算机可读存储介质

说明书

本发明公开了一种词汇相关性确定方法、装置、设备和计算机可读存储介质，一种词汇相关性确定方法包括：获取目标文本；以时间为横坐标，词汇出现频次为纵坐标，将目标文本中的不同词汇分别在直角坐标系中进行表示；将直角坐标系中的不同词汇分别处理为多个连续的词汇曲线；对多个连续的词汇曲线分别进行傅里叶变换，得到多个词汇的特征向量；对多个词汇的特征向量进行聚类处理，将聚类相同的词汇确定为相关词汇。本发明公开的词汇相关性确定方法、装置设备和计算机可读存储介质，用于提高词汇相关性确定的效率。

技术领域

本发明实施例涉及计算机技术，尤其涉及一种词汇相关性确定方法、装置、设备和计算机可读存储介质。

背景技术

词汇的相关性研究是在自然语言处理的一个基本研究课题，相关性计算水平的提高对文本聚类、语义消歧、语义Web、信息检索等众多应用领域具有重要意义。

在传统的词语相关性研究中，大多关注一对词汇之间的相关性，并且大多都存在一个假设：即相关的词汇至少应该以“共同出现”为基础。而基于共同出现的词汇相关性研究，本质上都是通过研究词与词之间的关系相互映射，并通过大量统计得到的。而这些统计均是靠人为统计和计算进行的，从研发到产品上线大都需要耗费大量的人力和资源。

发明内容

本发明提供一种词汇相关性确定方法、装置、设备和计算机可读存储介质，以提高词汇相关性确定的效率。

第一方面，本发明实施例提供一种词汇相关性确定方法，包括：

获取目标文本；

以时间为横坐标，词汇出现频次为纵坐标，将目标文本中的不同词汇分别在直角坐标系中进行表示；

将直角坐标系中的不同词汇分别处理为多个连续的词汇曲线；

对多个连续的词汇曲线分别进行傅里叶变换，得到多个词汇的特征向量；

对多个词汇的特征向量进行聚类处理，将聚类相同的词汇确定为相关词汇。

在第一方面一种可能的实现方式中，以时间为横坐标，词汇出现频次为纵坐标，将目标文本中的不同词汇分别在直角坐标系中进行表示之前，方法还包括：

从目标文本中去除停用词。

在第一方面一种可能的实现方式中，以时间为横坐标，词汇出现频次为纵坐标，将目标文本中的不同词汇分别在直角坐标系中进行表示之前，方法还包括：

对目标文本进行分词处理，并统计目标文本中不同词汇在不同时间的出现频次。

在第一方面一种可能的实现方式中，将直角坐标系中的不同词汇分别处理为多个连续的词汇曲线，包括：

分别将直角坐标系中的不同词汇对应的离散点进行平滑处理，得到多个连续的词汇曲线。

在第一方面一种可能的实现方式中，对多个词汇的特征向量进行聚类处理，将聚类相同的词汇确定为相关词汇，包括：

根据多个词汇的特征向量的振幅，对多个词汇的特征向量进行聚类处理，将聚类相同的词汇确定为相关词汇。

第二方面，本发明实施例还提供了一种词汇相关性确定装置，包括：

文本获取模块，用于获取目标文本；

词汇转换模块，用于以时间为横坐标，词汇出现频次为纵坐标，将目标文本中的不同词汇分别在直角坐标系中进行表示；

词汇处理模块，用于将直角坐标系中的不同词汇分别处理为多个连续的词汇曲线；

向量提取模块，用于对多个连续的词汇曲线分别进行傅里叶变换，得到多个词汇的特征向量；