[发明专利]网站信息识别方法、装置和电子设备

说明书

本发明提供了一种网站信息识别方法、装置和电子设备，其中，该方法包括：根据目标网站的地址获取目标网站的内容；内容包括：文本内容、图片文件和展示效果截图；根据预设的敏感违规词库对文本内容进行精确匹配和/或自然语言分析处理，确定出目标网站的文本识别结果；根据预设的带有不同类型标签的样本图片对图片文件和展示效果截图分别进行基于深度学习的图像分类识别，确定出目标网站的图片识别结果。本发明在获取目标网站的内容后，对文本内容进行精确匹配和/或自然语言分析处理以获得文本识别结果；对图片文件和展示效果截图进行深度学习以获得图片识别结果。可以有效地判断该网站是否存在不良内容，减少误判率。

技术领域

本发明涉及网站监测技术领域，尤其是涉及一种网站信息识别方法、装置和电子设备。

背景技术

近年来随着互联网的发展，网络上不良信息逐渐增加，如何对网络不良信息进行自动有效的判别和筛查是互联网发展目前有待解决的问题。现有的解决方案是通过爬虫方式获取内容数据，进行敏感分词匹配；或者爬取图片识别分析。

部分网站在处理反爬时会用假数据，导致现有的互联网不良信息识别方法无法正确有效地判断该网站是否存在不良内容，增加了现有的互联网不良信息识别方法的误判率。

发明内容

有鉴于此，本发明的目的在于提供一种网站信息识别方法、装置和电子设备，以有效地判断该网站是否存在不良内容，减少误判率，增加信息识别的准确性。

第一方面，本发明实施例提供了一种网站信息识别方法，包括：根据目标网站的地址获取目标网站的内容；内容包括：文本内容、图片文件和展示效果截图；根据预设的敏感违规词库对文本内容进行精确匹配和/或自然语言分析处理，确定出目标网站的文本识别结果；根据预设的带有不同类型标签的样本图片对图片文件和展示效果截图分别进行基于深度学习的图像分类识别，确定出目标网站的图片识别结果。

在本发明较佳的实施例中，根据目标网站的地址获取目标网站的内容的步骤，包括：获取目标网站的地址；根据地址通过普通请求的方式获取目标网站的文本内容；根据地址通过无头浏览器获取目标网站的图片文件和展示效果截图。

在本发明较佳的实施例中，根据预设的敏感违规词库对文本内容进行精确匹配和/或自然语言分析处理，确定出目标网站的文本识别结果的步骤，包括：对文本内容进行分词；根据预设的系统配置文件判断是否采用文本精确匹配和/或NLP(Natural LanguageProcessing，自然语言处理)学习模型匹配分析文本内容；如果采用文本精确匹配分析文本内容，则将分词后的文本内容与敏感违规词库进行匹配，确定出目标网站的文本识别结果；如果采用NLP学习模型匹配分析文本内容，则将分词后的文本内容输入预先学习完成的NLP学习模型中，输出目标网站的文本识别结果；NLP学习模型是根据敏感违规词库进行学习得到的。

在本发明较佳的实施例中，根据预设的带有不同类型标签的样本图片对图片文件和展示效果截图分别进行基于深度学习的图像分类识别，确定出目标网站的图片识别结果的步骤，包括：将图片文件和展示效果截图分别输入至预先学习完成的图像审核学习模型中，输出目标网站的图片识别结果；图像审核学习模型是根据样本图片进行学习得到的。

在本发明较佳的实施例中，根据目标网站的地址获取目标网站的内容的步骤之后，方法还包括：通过Kafka集群对内容进行数据清洗。

在本发明较佳的实施例中，上述方法还包括：保存图片文件和展示效果截图至预设存储区；和/或，保存文本识别结果和图片识别结果至预设存储区。

在本发明较佳的实施例中，上述方法还包括：发送文本识别结果和图片识别结果至指定的终端。