[发明专利]网络数据检测方法、装置、计算机设备和存储介质

权利要求书

1.一种网络数据检测方法，所述方法包括：

获取已经标记的历史网络数据，并提取所述历史网络数据的特征数据；

将标记为作弊数据的所述历史网络数据添加至黑名单库，将标记为正常数据的所述历史网络数据添加至白名单库；

按照所述黑名单库中的历史网络数据的顺序获取所述黑名单库中相同的历史网络数据；

按照所述白名单库中的历史网络数据的顺序获取所述白名单库中相同的历史网络数据；

对所述相同的历史网络数据进行去重处理；

根据去重处理后的所述黑名单库中的历史网络数据的特征数据以及所述白名单库中的历史网络数据的特征数据建立机器学习模型；

通过代理服务器调用预先设置的调用程序截取终端与服务器发生数据交互时的待检测网络数据，并将所截取的待检测网络数据存放至数据队列中；

将存储在所述数据队列中的待检测网络数据分批输入至机器学习模型中进行处理得到初始判断结果，包括：对待检测网络数据进行分词处理；计算当前分词在当前待检测网络数据中的词频，并根据包含当前分词的待检测网络数据的条数以及待检测网络数据的总条数获取到当前分词的逆文档频率；根据当前分词的词频和逆文档频率计算当前分词的词权重；获取词权重最大的当前分词作为当前待检测网络数据的特征数据；通过所提取到的特征数据与机器学习模型中的特征数据进行比对，判断出该待检测网络数据是否为作弊数据的初始判断结果；所述对待检测网络数据进行分词处理，包括：根据预设的分词逻辑对待检测网络数据进行分词处理，或者对待检测网络数据进行随机分词；所述根据预设的分词逻辑对待检测网络数据进行分词处理，包括：获取预先设置的分词逻辑库；将分词逻辑库中的分词与待检测网络数据进行匹配，匹配成功，则在待检测网络数据的词前后加入分词符以进行分词；所述对待检测网络数据进行随机分词，包括：预先设定分词步长；根据预设步长按照预设切分顺序将待检测网络数据依次切分成多个分词；

当所述初始判断结果表示所述待检测网络数据为第一作弊数据时，则将所述第一作弊数据与规则库中的第二作弊数据进行匹配；

当所述第一作弊数据与所述规则库中的第二作弊数据匹配成功时，则将所述待检测网络数据标记为作弊数据。

2.根据权利要求1所述的方法，其特征在于，所述提取所述历史网络数据的特征数据的步骤，包括：

对所述历史网络数据进行分词处理；

根据当前分词在当前历史网络数据中的词频，并根据包含所述当前分词的历史网络数据的条数以及所述历史网络数据的总条数获取到所述当前分词的逆文档频率；

根据所述当前分词的词频和逆文档频率计算所述当前分词的词权重；

获取词权重最大的当前分词作为所述当前历史网络数据的特征数据。

3.根据权利要求1或2所述的方法，其特征在于，所述截取待检测网络数据的步骤之后，还包括：

获取所述待检测网络数据对应的终端的网络地址；

统计截取到的所述网络地址对应的终端发送的所述待检测网络数据的频率；

当所述频率大于预设频率时，则将所述待检测网络数据添加到所述黑名单库中。

4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

当所述初始判断结果表示所述待检测网络数据不为第一作弊数据时，则将所述待检测网络数据标记为正常数据；

将所述正常数据添加到所述白名单库中。

5.根据权利要求1或2所述的方法，其特征在于，所述根据去重处理后的所述黑名单库中的历史网络数据的特征数据以及所述白名单库中的历史网络数据的特征数据建立机器学习模型的步骤之后，还包括：

将预设正样本和预设负样本输入至所述机器学习模型中得到测试结果；

将所述测试结果与预期结果进行比较得到比较结果；

根据所述比较结果计算所述机器学习模型的评分；

当所述评分小于预设分数时，则通过所述预设正样本和预设负样本对所述机器学习模型进行修正；

当所述评分大于等于所述预设分数时，则继续将存储在所述数据队列中的待检测网络数据输入至机器学习模型中进行处理得到初始判断结果。