[发明专利]一种关联新闻的确定方法以及装置

权利要求书

1.一种关联新闻的确定方法，包括：

选取一新闻作为某一新闻类别的标杆新闻；

计算其他新闻与所述标杆新闻之间的距离；

当所述其他新闻与所述标杆新闻之间的距离不大于设定的阈值时，确定所述其他新闻为所述新闻类别的关联新闻；

对已经确定为所述新闻类别的新闻根据以下因素中的至少一个进行排序：点击率、新闻转载率、以及评论数量，将排在第一的新闻作为所述标杆新闻；或者随机选取M个已经聚类的新闻，通过计算M个新闻之间的距离，选择与其他新闻M-1个新闻距离之和为最短的新闻作为所述标杆新闻；并且对发布时间超过一定时间阈值的新闻，不选择其作为所述标杆新闻；

所述计算其他新闻与所述标杆新闻之间的距离包括：

步骤1201，对新闻进行分词处理；

步骤1202，对分词处理后的字词进行去无用信息处理；

步骤1203，选择具有代表性的字词构成新闻的特征向量；

具体的，对于一篇新闻报道网页，经过分词以及去无用信息处理后，获得一个字词序列S＝(s₁,s₂,s₃......,s_N),其中s₁、s₂、s₃至s_N表示经过分词以及去无用信息处理后的字词；

对字词序列S中相同的字词进行相关词频统计，再进一步按照字词出现次数由高到低的顺序进行排列，由前至后取出预设数量的字符作为该新闻文本的特征向量；

步骤1204，根据新闻的特征向量计算其他新闻与标杆新闻的距离；

其他新闻的特征向量为Si，标杆新闻的特征向量为Sp，其他新闻与标杆新闻之间的距离如下式所示：D＝1-|S_i∩S_p|/|S_i∪S_p|；

其他新闻的特征向量Si与标杆新闻的特征向量Sp的交集与其他新闻的特征向量Si与标杆新闻的特征向量Sp的并集的比值与1的差值。

2.根据权利要求1所述的关联新闻的确定方法，其特征在于，所述新闻包括：新闻标题，新闻摘要，或新闻全文。

3.根据权利要求1或2所述的关联新闻的确定方法，其特征在于，所述距离由所述其他新闻的特征向量与所述标杆新闻的特征向量的内积或夹角的余弦确定。

4.根据权利要求1或2所述的关联新闻的确定方法，其特征在于，所述距离由所述其他新闻的特征向量的最小哈希值与所述标杆新闻的特征向量的最小哈希值确定。