[发明专利]一种电商黑灰产舆情自动挖掘方法和系统

权利要求书

1.一种电商黑灰产舆情自动挖掘方法，其特征在于，包括以下步骤：

(1)以种子黑词为关键词通过搜索引擎进行搜索，爬取搜索结果中网站的文本数据和网站信息数据；

(2)对所述文本数据进行预处理，从预处理后的文本数据中识别获取黑词；

(3)对网站信息数据进行分析，识别获取黑灰产网站；

(4)将获取的黑词扩充到黑词库中；将获取的黑灰产网站扩充到黑灰产网站库中；

(5)将步骤(2)获取的黑词作为种子黑词，重复步骤(1)～(4)。

2.根据权利要求1所述的电商黑灰产舆情自动挖掘方法，其特征在于，所述种子黑词的数量不少于10个。

3.根据权利要求1所述的电商黑灰产舆情自动挖掘方法，其特征在于，步骤(2)中，所述的预处理包括：

通过文本相关性计算对所述文本数据进行去重；

以中文形式或英文形式的逗号、句号、问号、感叹号、冒号或分号为分隔符，将去重后的文本数据分割成独立的句子；

对每个句子进行中文分词，将句子分割成词语序列；

对每个词语进行词性标注，剔除其中的虚词。

4.根据权利要求1或3所述的电商黑灰产舆情自动挖掘方法，其特征在于，步骤(2)中，从预处理后的文本数据中识别获取黑词，包括：

(i)从预处理后的文本数据中获取部分语料，人工标注词语类型后作为训练样本和验证样本；

(ii)初始化训练样本中每个词语的词向量；将训练样本输入双向长短期记忆网络(Bi-LSTM)中进行向量计算，得到输出向量；

(iii)将输出向量作为条件随机场(CRF)的输入，计算每个词语对应每个词语类型的概率；

(iv)使用随机梯度下降算法更新双向长短期记忆网络和条件随机场的网络参数；

(v)采用验证集测试双向长短期记忆网络和条件随机场的精确率，若所述精确率达到要求，则结束训练，否则继续训练；

(vi)双向长短期记忆网络和条件随机场对预处理后的文本数据进行预测，识别获取黑词。

5.根据权利要求4所述的电商黑灰产舆情自动挖掘方法，其特征在于，步骤(i)中，词语类型包括以下几类：

(a)电商上下文名词(ecn)；

(b)电商上下文动词(ecv)；

(c)电商黑灰产人物(ECP)；

(d)电商黑灰产事物(ECI)；

(e)电商黑灰产平台(ECL)；

(f)电商黑灰产行为(ECA)；

(g)其他黑词(OB)；

(h)其他词语(other)；

其中，(c)、(d)、(e)、(f)、(g)类型的词语为黑词。

6.根据权利要求4所述的电商黑灰产舆情自动挖掘方法，其特征在于，所述训练集和验证集的样本总量比为2～9∶1。

7.根据权利要求4所述的电商黑灰产舆情自动挖掘方法，其特征在于，步骤(iv)中，使用随机梯度下降更新网络参数，学习率初始时为0.002，每5次训练后通过验证集上计算模型的损失，如果损失值没有减小，就将学习率减小十分之一。

8.根据权利要求1所述的电商黑灰产舆情自动挖掘方法，其特征在于，步骤(3)中，识别获取黑灰产网站包括：

(3-1)对部分搜索结果中的网站进行人工标注，构建训练集和验证集；

(3-2)提取训练样本的url特征、文本特征及html特征；

(3-3)将非数值特征的编号作为其数值特征，对训练样本和验证样本进行归一化；

(3-4)将归一化后的训练样本作为SVM模型的输入，对SVM模型进行训练；

(3-5)通过训练好的SVM模型对可疑网站进行预测，识别获取黑灰产网站。