[发明专利]一种生成词表示的方法、装置及计算机可读存储介质

权利要求书

1.一种生成词表示的方法，其特征在于，包括：

从预先收集的文本数据中获取语料数据；

将所述语料数据中的基本信息单元，转换成预定语言模型定义的词形式，所述基本信息单元包括单词、短语和词序列中的至少一种；

基于语义相似度，对目标基本信息单元进行聚类处理，得到多个聚类结果，所述聚类结果包括目标基本信息单元的上下文中出现的多个基本信息单元；

将所述目标基本信息单元分别与每个聚类结果进行集成，得到多个集成结果，并将所述集成结果中的基本信息单元，替换为所述预定语言模型定义的词形式，得到目标基本信息单元的多个扩展词表示。

2.如权利要求1所述的方法，其特征在于，在生成目标基本信息单元的多个扩展词表示的步骤之后，所述方法还包括：

利用降维算法，对所述目标基本信息单元的扩展词表示进行降维处理，生成最终词表示。

3.如权利要求1所述的方法，其特征在于，所述从预先收集的文本数据中获取语料数据的步骤，包括：

将所述文本数据转换成同一种编码格式；

对所述文本数据进行数据清洗；

将数据清洗后的所述文本数据切分为基本信息单元，并去除停用词，得到所述语料数据。

4.如权利要求1所述的方法，其特征在于，所述预定语言模型定义的词形式包括：独热式词表示和分布式词表示。

5.如权利要求1所述的方法，其特征在于，所述基于语义相似度，对目标基本信息单元进行聚类处理，得到多个聚类结果的步骤，包括：

从目标基本信息单元所在的语料的上下文中，提取语义特征；

针对提取的语义特征进行聚类，获得多个聚类结果。

6.如权利要求1所述的方法，其特征在于，将所述目标基本信息单元分别与每个聚类结果进行集成的步骤，包括：

针对每个聚类结果，分别将目标基本信息单元与该聚类结果中的基本信息单元相集成，得到一个集成结果。

7.一种词表示生成装置，其特征在于，包括：

语料获得单元，用于从预先收集的文本数据中获取语料数据；

词表示转换单元，用于将所述语料数据中的基本信息单元，转换成预定语言模型定义的词形式，所述基本信息单元包括单词、短语和词序列中的至少一种；

聚类单元，用于基于语义相似度，对目标基本信息单元进行聚类处理，得到多个聚类结果，所述聚类结果包括目标基本信息单元的上下文中出现的多个基本信息单元；

词表示生成单元，用于将所述目标基本信息单元分别与每个聚类结果进行集成，得到多个集成结果，并将所述集成结果中的基本信息单元，替换为所述预定语言模型定义的词形式，得到目标基本信息单元的多个扩展词表示。

8.如权利要求7所述的词表示生成装置，其特征在于，还包括：

降维处理单元，用于利用降维算法，对所述目标基本信息单元的扩展词表示进行降维处理，生成最终词表示。

9.如权利要求7所述的词表示生成装置，其特征在于，所述词表示生成单元，具体用于针对每个聚类结果，分别将目标基本信息单元与该聚类结果中的基本信息单元相集成，得到一个集成结果。

10.一种词表示生成装置，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的生成词表示的方法的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的生成词表示的方法的步骤。