[发明专利]一种电商黑灰产舆情自动挖掘方法和系统

说明书

本发明公开了一种电商黑灰产舆情自动挖掘方法和系统，该方法包括以下步骤：(1)以种子黑词为关键词通过搜索引擎进行搜索，爬取搜索结果中网站的文本数据和网站信息数据；(2)对所述文本数据进行预处理，从预处理后的文本数据中识别获取黑词；(3)对网站信息数据进行分析，识别获取黑灰产网站；(4)将获取的黑词扩充到黑词库中；将获取的黑灰产网站扩充到黑灰产网站库中；(5)将步骤(2)获取的黑词作为种子黑词，重复步骤(1)～(4)。本发明的方法可及时发现、预警和治理电商作弊事件，实现对电商黑灰产进行实时多维度监控。

技术领域

本发明涉及网络黑灰产中的安全技术领域，尤其涉及一种电商黑灰产舆情自动挖掘方法和系统。

背景技术

网络黑灰产是危害互联网生态安全的重大问题之一。传统技术能够对black-hatSEO、虚假评论、人工流量、社交网络炒信等作弊行为进行检测，但随着作弊行为不断变化和转移，现有的模型和方法很快就失去适用性。因此利用海量安全相关的外部舆情文本，对网络黑灰产进行实时的分析和监控，有利于从源头上发现和打击黑灰产。

不同于传统的网络黑灰产，电商黑灰产是最近10年才兴起的一种新型黑灰产，通常是指虚假交易、刷单、刷流量等违反电商平台相关规范的作弊行为。从账号购买到刷单等黑灰产平台，再到快递空包等基础服务，电商黑灰产已经形成完整的产业链，且随着电商领域反作弊机制的完善，电商作弊行为也趋向于专业化，然而企业内部对黑灰产的分布和现状大部分靠人工分析，无法应对日益扩大的黑灰产规模。

发明内容

针对电商黑灰产的产业化、专业化、规模化的特点和黑灰产语料库、知识库几乎空白的现状，本发明提供一种电商黑灰产舆情自动挖掘方法和系统，可及时发现、预警和治理电商作弊事件，实现对电商黑灰产进行实时多维度监控。

本发明提供了如下技术方案：

一种电商黑灰产舆情自动挖掘方法，包括以下步骤：

(1)以种子黑词为关键词通过搜索引擎进行搜索，爬取搜索结果中网站的文本数据和网站信息数据；

(2)对所述文本数据进行预处理，从预处理后的文本数据中识别获取黑词；

(3)对网站信息数据进行分析，识别获取黑灰产网站；

(4)将获取的黑词扩充到黑词库中；将获取的黑灰产网站扩充到黑灰产网站库中；

(5)将步骤(2)获取的黑词作为种子黑词，重复步骤(1)～(4)。

优选的，所述种子黑词的数量不少于10个。

种子黑词数量越多，获取的分析数据越多，步骤(2)中获取的黑词和黑灰产网站越多，但是种子黑词数量过多时，获取的分析数据量过于庞大，后续的分析计算量过大，使得黑词的获取效率降低，优选的，所述种子黑词的数量为10～50个。

种子黑词为人工识别出的与电商黑灰产相关的词语。

步骤(2)中，所述的预处理包括对文本数据进行去重、分句、分词、词性标注和筛选；包括以下步骤：

通过文本相关性计算对所述文本数据进行去重；

以中文形式或英文形式的逗号(，)、句号(。)、问号(？)、感叹号(！)、冒号(：)或分号(；)为分隔符，将去重后的文本数据分割成独立的句子；

对每个句子进行中文分词，将句子分割成词语序列；

对每个词语进行词性标注，剔除其中的虚词。

经过以上预处理后，爬取的文本数据转化为噪声较小(即去除了无意义虚词)的句子，每个句子是由带有词性标注的词语序列表示的，以减少后续词汇处理量。

步骤(2)中，从预处理后的文本数据中识别获取黑词，包括：