[发明专利]一种通知信息的过滤方法及装置

摘要

本发明涉及计算机技术领域，尤其涉及一种通知信息的过滤方法及装置，包括：根据预设的划分标识符，将待处理通知信息划分为至少一个语义段；针对所述至少一个语义段中的任意一个语义段，若确定所述任意一个语义段是广告语义段，则从所述待处理通知信息中删除所述任意一个语义段；其中，通过将任意一个语义段与非广告模板库及广告模板库进行比较，来判断所述语义段是否为广告语义段，其中，非广告模板库用于存储非广告类语义段，广告模板库用于存储广告类语义段。本发明实施例不仅同时使用广告模板库和非广告模板库来判断语义段是否为广告语义段，不会将出现频率较高的非广告语义段误判为广告语义段，因而提高了过滤的准确性。

主权项

1.一种通知信息的过滤方法，其特征在于，包括：/n根据预设的划分标识符，将数据集中的待处理通知信息划分为至少一个语义段，所述预设的划分标识符为句号、问号以及感叹号，所述数据集中的待处理通知信息是来源于同一应用、同一渠道及同一时间、且所述数据集中的待处理通知信息具有高度关联性；/n针对所述至少一个语义段中的任意一个语义段，若确定所述任意一个语义段是广告语义段，则从所述待处理通知信息中删除所述任意一个语义段；/n其中，通过下述过程确定所述任意一个语义段是否为广告语义段：/n将所述任意一个语义段与非广告模板库进行比较，确定所述任意一个语义段与所述非广告模板库的匹配度，所述非广告模板库用于存储非广告类语义段；/n若所述任意一个语义段与所述非广告模板库的匹配度为高匹配度，则确定所述任意一个语义段为非广告语义段；/n若所述任意一个语义段与所述非广告模板库的匹配度为低匹配度，则将所述任意一个语义段与广告模板库进行比较，确定所述任意一个语义段与所述广告模板库的匹配度，所述广告模板库用于存储广告类语义段；/n若所述任意一个语义段与所述广告模板库的匹配度为高匹配度，则确定所述任意一个语义段为广告语义段，否则，确定所述任意一个语义段为非广告语义段；/n根据下列方式确定所述任意一个语义段与所述广告模板库的匹配度：/n若所述任意一个语义段与所述广告模板库满足下列条件中的任意一个，则将所述任意一个语义段与所述广告模板库的匹配度确定为高匹配度，否则，将所述任意一个语义段与所述广告模板库的匹配度确定为低匹配度：/n条件一：所述任意一个语义段与所述广告模板库中的至少一个语义段的相似度大于或等于第一相似阈值；/n条件二：所述任意一个语义段与所述广告模板库中的M个语义段的相似度小于所述第一相似阈值且大于第二相似阈值，且M与所述广告模板库中语义段的总数量的比值大于或等于预设的第一比例，M为正整数；/n根据下列方式确定所述任意一个语义段与所述非广告模板库的匹配度：/n若所述任意一个语义段与所述非广告模板库满足下列条件中的任意一个，则将所述任意一个语义段与所述非广告模板库的匹配度确定为高匹配度，否则，将所述任意一个语义段与所述非广告模板库的匹配度确定为低匹配度：/n条件一：所述任意一个语义段与所述非广告模板库中的任意一个语义段的相似度大于或等于第三相似阈值；/n条件二：所述任意一个语义段与所述非广告模板库中的N个语义段的相似度小于所述第三相似阈值且大于第四相似阈值，且N与所述非广告模板库中语义段的总数量的比值大于或等于预设的第二比例，N为正整数；/n所述方法还包括：/n若所述任意一个语义段与所述非广告模板库的匹配度为高匹配度，且所述非广告模板库中不包含与所述任意一个语义段完全相同的语义段，则根据所述任意一个语义段更新所述非广告模板库；/n若所述任意一个语义段与所述广告模板库的匹配度为高匹配度，且所述广告模板库中不包含与所述任意一个语义段完全相同的语义段，则根据所述任意一个语义段更新所述广告模板库；/n其中，所述广告模板库和非广告模板库中存储的语义段是以哈希值的形式存储的，且所述语义段的哈希值是根据以下方法确定的：根据语义段在所述语义段所在的通知信息中的位置，为所述语义段设置对应的权重值；对所述语义段进行分词得到多个词语，并为所述多个词语中的每个词语设置对应的权重值；根据所述语义段对应的权重值、所述语义段中的每个词语对应的权重值以及所述语义段中的每个词语对应的哈希值，为所述语义段确定对应的哈希值。/n