[发明专利]一种用于确定文本相似度的系统及方法

权利要求书

1.一种用于确定文本相似度的系统，所述系统包括：

聚类模块，获取用户的问答数据，并对所述问答数据进行预处理，针对预处理后的问答数据，选取所述预处理后的问答数据的初始化质心，根据所述初始化质心获取聚类的问答数据；

文本相似度确定模块，对所述聚类结果中的问题数据进行分词，并计算每个分词的TF-IDF值，根据所述TF-IDF值计算所述聚类的问答数据间的Simhash值，根据所述Simhash值确定所述聚类的问答数据间的相似度。

2.根据权利要求1所述的系统，所述文本相似度确定模块，还用于对相似度大于预设值的聚类的问答数据进行合并。

3.根据权利要求1所述的系统，所述预处理具体为：对问答数据的清洗。

4.根据权利要求1所述的系统，所述选取所述预处理后的问答数据的初始化质心，具体为：

根据预处理后的问答数据，生成样本集，随机选择样本集中的任意一点作为聚类中心，计算样本集中的每个点到聚类中心的距离，根据所述每个点到聚类中心的距离确定多个聚类质心，将所述多个聚类质心作为初始化质心。

5.根据权利要求1所述的系统，所述获取聚类的问答数据，具体为：

针对初始化质心，确定样本集中每个点和初始化质心的向量的距离，对所述每个点和初始化质心的向量的距离进行聚类处理，再次确定样本集中新的质心，若质心的向量未发生变化，则输出聚类结果。

6.一种用于确定文本相似度的方法，所述方法包括：

获取用户的问答数据，并对所述问答数据进行预处理，针对预处理后的问答数据，选取所述预处理后的问答数据的初始化质心，根据所述初始化质心获取聚类的问答数据；

对所述聚类结果中的问题数据进行分词，并计算每个分词的TF-IDF值，根据所述TF-IDF值计算所述聚类的问答数据间的Simhash值，根据所述Simhash值确定所述聚类的问答数据间的相似度。

7.根据权利要求6所述的方法，所述方法还包括：对相似度大于预设值的聚类的问答数据进行合并。

8.根据权利要求6所述的方法，所述预处理具体为：对问答数据的清洗。

9.根据权利要求6所述的方法，所述选取所述预处理后的问答数据的初始化质心，具体为：

根据预处理后的问答数据，生成样本集，随机选择样本集中的任意一点作为聚类中心，计算样本集中的每个点到聚类中心的距离，根据所述每个点到聚类中心的距离确定多个聚类质心，将所述多个聚类质心作为初始化质心。

10.根据权利要求6所述的方法，所述获取聚类的问答数据，具体为：

针对初始化质心，确定样本集中每个点和初始化质心的向量的距离，对所述每个点和初始化质心的向量的距离进行聚类处理，再次确定样本集中新的质心，若质心的向量未发生变化，则输出聚类结果。