[发明专利]一种生成词表示的方法、装置及计算机可读存储介质

说明书

本发明实施例提供了一种生成词表示的方法、装置及计算机可读存储介质。本发明实施例提供的生成词表示的方法，基于语义相似度，对目标基本信息单元进行聚类处理，得到多个聚类结果，并将目标基本信息单元与聚类结果相集成，生成目标基本信息单元多个义项的词表示。本发明实施例可以生成多义词的不同义项的词表示，并且具有计算量小和效率高的优点。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种生成词表示的方法、装置及计算机可读存储介质。

背景技术

在自然语言中，多义词被广泛使用。例如，在不同的上下文与领域中，一个单词可能会有多种义项，每个义项对应于一种定义或词义。区分不同上下文中多义词的词义有着重要意义，如在机器翻译、文本自动摘要、信息检索系统和其它众多的自然语言处理的系统中都有着广泛的应用。

在自然语言处理中，单词语义的一种表示方式是使用词向量进行表示。该表示方式本身难以对多义词进行表示。一种改进方案则是将每个词在不同上下文中转换为不同表示，并相应的训练多个词向量，以实现多义词的表示。但是该改进方案存在着计算量大以及耗时长等缺点。

发明内容

本发明实施例要解决的技术问题是提供一种生成词表示的方法、装置及计算机可读存储介质，用以生成多义词的不同义项的词表示，并且具有计算量小、效率高的优点。

为解决上述技术问题，本发明实施例提供的生成词表示的方法，包括：

从预先收集的文本数据中获取语料数据；

将所述语料数据中的基本信息单元，转换成预定语言模型定义的词形式，所述基本信息单元包括单词、短语和词序列中的至少一种；

基于语义相似度，对目标基本信息单元进行聚类处理，得到多个聚类结果，所述聚类结果包括目标基本信息单元的上下文中出现的多个基本信息单元；

将所述目标基本信息单元分别与每个聚类结果进行集成，得到多个集成结果，并将所述集成结果中的基本信息单元，替换为所述预定语言模型定义的词形式，得到目标基本信息单元的多个扩展词表示。

优选的，上述方法中，在生成目标基本信息单元的多个扩展词表示的步骤之后，利用降维算法，对所述目标基本信息单元的扩展词表示进行降维处理，生成最终词表示。

优选的，上述方法中，所述从预先收集的文本数据中获取语料数据的步骤，包括：将所述文本数据转换成同一种编码格式；对所述文本数据进行数据清洗；将数据清洗后的所述文本数据切分为基本信息单元，并去除停用词，得到所述语料数据。

优选的，上述方法中，所述预定语言模型定义的词形式包括：独热式词表示和分布式词表示。

优选的，上述方法中，所述基于语义相似度，对目标基本信息单元进行聚类处理，得到多个聚类结果的步骤，包括：从目标基本信息单元所在的语料的上下文中，提取语义特征；针对提取的语义特征进行聚类，获得多个聚类结果。

优选的，上述方法中，将所述目标基本信息单元分别与每个聚类结果进行集成的步骤，包括：针对每个聚类结果，分别将目标基本信息单元与该聚类结果中的基本信息单元相集成，得到一个集成结果。

本发明实施例还提供了一种词表示生成装置，包括：

语料获得单元，用于从预先收集的文本数据中获取语料数据；

词表示转换单元，用于将所述语料数据中的基本信息单元，转换成预定语言模型定义的词形式，所述基本信息单元包括单词、短语和词序列中的至少一种；

聚类单元，用于基于语义相似度，对目标基本信息单元进行聚类处理，得到多个聚类结果，所述聚类结果包括目标基本信息单元的上下文中出现的多个基本信息单元；