[发明专利]一种基于余弦距离的前沿科技信息快速推送方法及系统

权利要求书

1.一种基于余弦距离的前沿科技信息快速推送方法，其特征是，包括以下过程：

构造余弦距离索引：爬取科技信息文章并存储到科技信息数据库中，并对爬取科技信息文章建立索引；

推送信息：通过快速对比新增文章和数据库的原有文章来查询是否有相同或者近似的文章，判断该新增文章内容是否已经被推送过，如果没有被推送过则加以选择并进行推送给用户；

所述构造余弦距离索引的过程包括以下步骤：

1)利用爬虫技术爬取科技信息文章，并将爬取的科技信息文章文本化，并记为T_i；

2)基于TF-IDF技术提取T_i的TF-IDF向量，记为并将做为key，将T_i做为value，以键值对的形式存储到科技信息数据库中；

3)周期性的采用自下而上的层次凝聚聚类方法对当前科技信息文章向量进行聚类，向量集合

4)在聚类过程中构造出一棵包含簇的层次信息以及所有簇内和簇间的相似度的生成树t，即余弦距离索引，在生成树t中，每个只含单个成员的簇对应树的一个叶节点，叶节点需要存储关键字每个多个成员的簇对应树的一个非叶节点，非叶节点需要存储关键字每次两个簇c_x、c_y合并生成一个新的非叶节点n_i，n_i的子节点是c_x、c_y对应的节点；

所述对当前科技信息文章向量进行聚类的过程包括以下步骤：

31)将每个向量都当做一个聚类，将向量集合T中的每个向量看成一个具有单个成员的簇这些簇构成T的一个聚类集合C＝{c₁,c₂,…,c_i,…,c_n}；

32)计算每两个聚类之间的距离，将距离最近的或最相似的两个聚类进行合并，并计算C中每个簇对＜c_i,c_j＞之间的相似度距离SD(c_i,c_j)；

33)选取具有最小SD(c_i,c_j)的簇对＜c_i,c_j＞，将c_i和c_j合并为一个新的簇c_k＝c_i∪c_j，同时更新聚类集合C＝C∪{c_k}-{c_i,c_j}；

34)重复上述步骤31)至步骤33)，直至C中剩下一个簇为止。

2.如权利要求1所述的一种基于余弦距离的前沿科技信息快速推送方法，其特征是，所述簇对＜c_i,c_j＞之间的相似度距离SD(c_i,c_j)采用增量距离方法进行计算，具体计算步骤为：

321)用表示两个向量之间的距离，定义为余弦距离的倒数，即

322)定义S²的计算公式为其中

3.如权利要求2所述的一种基于余弦距离的前沿科技信息快速推送方法，其特征是，所述推送信息的过程包括以下步骤：

5)基于生成树t查找与距离最小的向量

6)计算如果则判断T_i具有未推送的内容，需要推送给用户，其中μ是设置的相似度阈值；

7)根据用户订阅的主题，将科技信息文章推送给相关用户。

4.如权利要求3所述的一种基于余弦距离的前沿科技信息快速推送方法，其特征是，所述查找与距离最小的向量的过程包括以下步骤：

51)从生成树t的根节点开始查询，设n_x→t.root；

52)如果n_x为叶节点，结束此过程，则将n_x的关键字赋值给返回

53)如果n_x为非叶节点，计算与n_x的所有孩子节点关键字的距离，距离利用公式(1)计算，选择具有最小距离的关键字子节点，设为n_y；令n_x→n_y，并转步骤52)。