[发明专利]一种用于中文语句的聚类方法及装置

权利要求书

1.一种用于中文语句的聚类方法，其特征在于，包括：

建立训练集，所述训练集包括了用于进行聚类处理的候选语句；

利用由词向量模型计算得到的词向量，获取所述训练集中各个候选语句的相似度；

根据所得到的词向量和所述各个候选语句的相似度，对所述训练集中的候选语句进行聚类处理。

2.根据权利要求1所述的方法，其特征在于，所述建立训练集，包括：

读取前端服务器的问答日志，并从所述问答日志中提取历史数据，其中，所述前端服务器用于通过聊天界面与用户设备进行信息交互，从而形成对话场景；所述问答日志中包括了指定数量的对话场景，每个对话场景包括至少一个提问语句和至少一个回答语句；

根据所述历史数据生成训练集，其中，所述训练集包括了用于进行聚类处理的候选语句。

3.根据权利要求1或2所述的方法，其特征在于，还包括：

在获取所述训练集中各个候选语句的相似度之前，对所述历史数据中的各个语句进行分词处理得到语词集合；

通过对所述词语集合进行词频计算得到词频列表，所述词频列表中记录了各个语句中的词组的出现频率。

4.根据权利要求3所述的方法，其特征在于，所述获取所述训练集中各个候选语句的相似度，包括：

对所得到的词向量进行平均化计算，之后根据平均化计算的结果，确定各个候选语句中词组的欧氏距离；

根据各个候选语句中词组的欧氏距离，确定各个候选语句之间的相似度，并统计得到其中的每个候选语句的平均相似度分值。

5.根据权利要求4所述的方法，其特征在于，所述根据所得到的词向量和所述各个候选语句的相似度，对所述训练集中的候选语句进行聚类处理，包括：

提取各个提问语句的平均相似度分值；

根据所述各个提问语句的平均相似度分值，确定各个提问语句的相似问语句。

6.根据权利要求5所述的方法，其特征在于，还包括：

每一个提问语句作为标准问，且与至少一个相似问对应，对于每一个标准问，进行如下处理：

基于标准问中的每个词组的词向量，计算所对应的相似问中所有词组的欧氏距离，并得到所述标准问中的所有的词组的最大相似度分值；

根据所述标准问中的所有的词组最大相似度分值，确定所述标准问与各个相似问之间的最大相似度分值；

将各个相似问按照最大相似度分值由高至低的顺序排列。

7.根据权利要求6所述的方法，其特征在于，还包括：

对于最大相似度分值相同的相似问，进行如下处理：

根据预设关键词和所述预设关键词的权重值，计算最大相似度分值相同的各个相似问的权重分值；

按照所得权重分值由高至低的顺序，排列所述最大相似度分值相同的相似问。

8.一种用于中文语句的聚类装置，其特征在于，包括：

第一预处理模块，用于建立训练集，所述训练集包括了用于进行聚类处理的候选语句；

第二预处理模块，用于利用由词向量模型计算得到的词向量，获取所述训练集中各个候选语句的相似度；

处理模块，用于根据所得到的词向量和所述各个候选语句的相似度，对所述训练集中的候选语句进行聚类处理。