[发明专利]一种评论内容过滤方法及系统有效
申请号: | 201711373559.9 | 申请日: | 2017-12-19 |
公开(公告)号: | CN110019681B | 公开(公告)日: | 2022-05-17 |
发明(设计)人: | 杨华涛 | 申请(专利权)人: | 阿里巴巴(中国)有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F40/284 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 贾磊 |
地址: | 311121 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 评论 内容 过滤 方法 系统 | ||
本申请实施方式公开了一种评论内容过滤方法及系统,包括:对评论主体的所有评论进行分词处理,获得所述评论的词语序列;根据所述评论中每个词语对应的词向量确定所述评论中任意两个词语之间的相关度,利用所述评论中所有词语之间的相关度确定所述评论内容有意义的概率,将所述概率小于等于阈值所对应的评论过滤掉。本申请提供的技术方案将文本内容中无实际意义且胡乱输入的内容过滤掉,对文本内容起到提精降噪的目的,最终获得有价值的评论内容的效率得到大幅度提高。
技术领域
本申请涉及互联网技术领域,特别涉及一种评论内容过滤方法及系统。
背景技术
随着互联网技术的迅速发展,用户通过互联网进行各种各样的互动。比如:用户可以在被评论主体下方的评论栏发表评论,其他用户可以对评论区的评论进行互动。评论是表达评论主体某些特征方面状况和用户个体对评论主体情感的信息。用户可以根据评论内容对评论主体进行了解,也可以同其他用户针对同一评论主体进行信息交流。
目前,在对评论进行分析时,由于针对同一评论主体会有大量的评论内容,在这些评论中混有高重复率且无实际意义的内容,比如:“沙发”。甚至有些评论区域出现很多胡乱输入的无意义语句,比如:“和地产似乎是四个小孩子的呼吸也许是觉得你们的满腹牢骚看着你西安耐晒伤”。由于高重复率且无实际意义的评论内容的存在,使得评论区域内的有价值的文本内容被淹没,导致评论区域内获得有效的评论内容的效率很低。
发明内容
本申请实施方式的目的是提供一种评论内容过滤方法及系统,适用于评论、弹幕、帖子等评论内容过滤处理,解决胡乱输入的无意义的评论内容导致获得有价值的评论内容的效率降低的技术问题。
为实现上述目的,本申请实施方式提供一种评论内容过滤方法,包括:
对评论主体的所有评论进行分词处理,获得所述评论的词语序列;
根据所述评论中每个词语对应的词向量确定所述评论中任意两个词语之间的相关度,利用所述评论中所有词语之间的相关度确定所述评论内容有意义的概率,将所述概率小于等于阈值所对应的评论过滤掉。
为实现上述目的,本申请实施方式还提供一种评论内容过滤系统,所述系统包括:存储器和处理器,所述存储器中存储计算机程序,所述计算机程序被所述处理器执行时,实现以下功能:
对评论主体的所有评论进行分词处理,获得所述评论的词语序列;
根据所述评论中每个词语对应的词向量确定所述评论中任意两个词语之间的相关度,利用所述评论中所有词语之间的相关度确定所述评论内容有意义的概率,将所述概率小于等于阈值所对应的评论过滤掉。
由上可见,与现有技术相比较,本申请提供的技术方案将文本内容中无实际意义且胡乱输入的内容过滤掉,对文本内容起到提精降噪的目的,最终获得有价值的评论内容的效率得到大幅度提高。
附图说明
为了更清楚地说明本申请实施方式或现有技术中的技术方案,下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提出的一种评论内容过滤方法的流程图之一;
图2为本申请实施例提出的一种评论内容过滤方法的流程图之二;
图3为本申请实施例提出的一种评论内容过滤方法的流程图之三;
图4为本申请实施例提出的一种评论内容过滤系统的示意图。
具体实施方式
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴(中国)有限公司,未经阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711373559.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于关键字的敏感词智能过滤方法
- 下一篇:用于处理信息的系统、方法和装置
- 内容再现系统、内容提供方法、内容再现装置、内容提供装置、内容再现程序和内容提供程序
- 内容记录系统、内容记录方法、内容记录设备和内容接收设备
- 内容服务系统、内容服务器、内容终端及内容服务方法
- 内容分发系统、内容分发装置、内容再生终端及内容分发方法
- 内容发布、内容获取的方法、内容发布装置及内容传播系统
- 内容提供装置、内容提供方法、内容再现装置、内容再现方法
- 内容传输设备、内容传输方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容发送设备、内容发送方法、内容再现设备、内容再现方法、程序及内容分发系统
- 内容再现装置、内容再现方法、内容再现程序及内容提供系统
- 内容记录装置、内容编辑装置、内容再生装置、内容记录方法、内容编辑方法、以及内容再生方法