[发明专利]一种分布式的文本近似最近邻语义搜索计算方法

摘要

本发明公开了一种分布式的文本近似最近邻语义搜索计算方法。本发明包含文本语义向量的构建，文本语义向量的多层聚类索引构建，文本语义向量的分布式均衡存储，多维用户偏好筛选的文本语义搜索；所述文本语义向量的构建包括词袋提取，文本分词，词向量模型训练，文本向量计算；所述文本语义向量的多层聚类索引构建包含文本向量二分Kmeans聚类；所述文本语义向量的分布式均衡存储包含文本语义向量多维空间的距离计算和分布式均衡存储；所述多维用户偏好筛选的文本语义搜索包含对大规模文本的多维偏好高效筛选和实时语义精准搜索。本发明减小了计算量和优化了搜索速度。

主权项

1.一种分布式的文本近似最近邻语义搜索计算方法，其特征在于该方法包含如下步骤：1)构建文本语义向量收集海量文本数据，文本进行提取词袋，文本分词，对处理后的文本进行word2vec模型训练得到词向量模型wordModel，利用词向量模型计算每一篇文本的文本向量和需求文本向量；2)构建文本语义向量的多层聚类索引文本向量二分K‑means聚类，通过聚类将语义相关的文本聚集在一起，将语义搜索从全量文本计算缩小到一部分语义相关文本计算，减小计算量；构建文本向量多层聚类索引，通过对文本语义向量超平面空间的划分，快速获取相似文本，提高相似文本获取的准确度；3)分布式均衡存储文本语义向量将文本向量在多维空间上的分布量化成点到点之间的距离，语义越相似距离越小，距离接近的文本向量分布式均衡存储到不同的节点，减小后期计算时产生的数据倾斜问题；4)多维用户偏好筛选的文本语义搜索包含对大规模文本的多维偏好高效筛选和实时语义精准搜索，在满足用户需求偏好的基础上实时返回与用户需求语义最相似的文本结果。