[发明专利]从海量短新闻中识别相似新闻的方法及相关设备

权利要求书

1.从海量短新闻中识别相似新闻的方法，包括：

获取预设的格式化主体词汇并建立索引；

具体包括：从数据库中获取预设的格式化主体词汇，加入到词表W；

分别建立索引数据结构IW、名称长度数组WL；

从所述词表W中取出词w_i，i∈[1，N]；其中，i表示w_i是W中的第i个词，W中共有N个词；

取w_i中的第j个字c_j，j∈[1，n]；其中，n是w_i中的英文、阿拉伯数字和GB2312编码汉字字符的数量；

将字c_j转换为位置索引idx_j；

将i添加到索引数据结构IW[idx_j]内；

直至词w_i内的每个字都完成位置索引的转换后，将n添加到名称长度数组WL中，当所述词表W中所有的词w_i完成位置索引，则初始化结束；

获取多篇新闻，对每篇所述新闻进行向量化；

计算每篇目标新闻与其他新闻是否相似，将与所述目标新闻相似的其他新闻作为相似新闻；

具体包括：通过矩阵减法计算所述目标新闻和所有其他新闻向量的差，得到两个新闻之间的差异量，判断所述差异量是否满足预设的相似阈值条件，将满足所述相似阈值条件的新闻作为相似新闻；更具体地，每篇所述新闻进行向量化后得到新闻向量矩阵A，取所述新闻向量矩阵A的行向量A_i，i∈[1，M]，M是新闻的总数量，将A_i转为维度为[1，7236]的二维矩阵B，对所述二维矩阵B进行自动扩展，使得所述二维矩阵B与所述新闻向量矩阵A的维度相等，做矩阵减法C＝A-B；

取矩阵C的行向量C_j，j∈[i+1，M]，计算所述行向量C_j中大于0的值的和，记为差异量Pos_ij，计算所述行向量C_j中小于0的值的和的绝对值，记为差异量Neg_ij；

判断所述差异量Pos_ij和所述差异量Neg_ij是否满足所述相似阈值条件；

提取所述目标新闻和所述相似新闻之间差异的多个字符，在所述格式化主体词汇建立的索引中查找每个所述字符，如果多个所述字符能构成多于预设目标阈值的格式化主体词汇，则判定所述目标新闻与所述相似新闻不相似，否则判定所述目标新闻与所述相似新闻相似；

输出新闻相似结果。

2.如权利要求1所述的从海量短新闻中识别相似新闻的方法，其特征在于，所述获取多篇新闻，对每篇所述新闻进行向量化前，包括获取多篇新闻，对每篇所述新闻进行过滤：

获取新闻D_i，i∈[1，M]，M是新闻的总数量；

如果所述新闻D_i的第一个非空自然段中有以第一预设字段开头的句子，则去除该句子，如果所述新闻D_i的前两个非空自然段中有以第二预设字段开头的自然段，则去除该段；

将所述新闻D_i中全角的英文字母和数字字符转为半角字符，英文字母转为小写，繁体字转为简体字；

去除所述新闻D_i中所有的非汉字、英文和数字的字符。

3.如权利要求2所述的从海量短新闻中识别相似新闻的方法，其特征在于，所述对每篇所述新闻进行过滤后，还包括：

判断过滤后的所述新闻D_i的字符总数是否小于预设总数，如果小于则进行所述对每篇所述新闻进行向量化步骤，否则去除所述新闻D_i。