[发明专利]基于网页的样本数据获取方法、装置、设备及存储介质

权利要求书

1.一种基于网页的样本数据获取方法，其特征在于，所述方法包括：

基于目标网页的URL访问所述目标网页，并在所述目标网页访问成功时获取所述目标网页的网页源码；

基于第一解码格式识别所述网页源码的内容；

判断所述网页源码的内容是否为乱码内容；

当所述网页源码的内容为乱码内容时，则基于第二解码格式对所述网页源码的内容进行识别，直至所述网页源码的内容为正确；

基于所述网页源码的内容得到样本数据。

2.如权利要求1所述的方法，其特征在于，在所述基于第一解码格式识别所述网页源码的内容之前，所述方法还包括：

当基于所述目标网页的URL访问所述目标网页失败时，更换访问所述目标网页的IP地址；

基于更换后的IP地址和目标网页的URL访问所述目标网页。

3.如权利要求1所述的方法，其特征在于，所述基于所述网页源码的内容得到样本数据，包括：

去除所述网页源码的内容中的第一HMTL元素标签，并得到第一页面处理结果；

基于所述第一页面处理结果，提取第二HMTL元素标签的文字内容；

将所述第二HMTL元素标签的文字内容，作为所述样本数据。

4.如权利要求3所述的方法，其特征在于，所述第一HMTL元素标签至少包括JS代码片段标签、CSS样式标签。

5.如权利要求3所述的方法，其特征在于，在所述基于所述第一页面处理结果，提取第二HMTL元素标签的文字内容之前，所述方法还包括：

将所述第一页面处理结果中的网页换行符转换为普通文本换行符；

将所述第一页面处理结果中的连续空白符和连续的换行符合并。

6.如权利要求1所述的方法，其特征在于，在所述基于所述网页源码的内容得到样本数据之后，所述方法还包括：

基于所述目标网页的URL，将所述样本数据存入预设数据库中。

7.如权利要求6所述的方法，其特征在于，在所述基于所述目标网页的URL，将所述样本数据存入预设数据库中之前，所述方法还包括：

计算所述样本数据的MD5 Hash；

基于所述样本数据的MD5 Hash，判断所述预设数据库是否存在MD5 Hash相同的历史数据，若是则删除所述样本数据。

8.一种基于网页的样本数据获取装置，其特征在于，所述装置包括：

网页源码获取模块，用于基于目标网页的URL访问所述目标网页，并在所述目标网页访问成功时获取所述目标网页的网页源码；

第一识别模块，用于基于第一解码格式识别所述网页源码的内容；

判断模块，用于判断所述网页源码的内容是否为乱码内容；

第二识别模块，当所述网页源码的内容为乱码内容时，则基于第二解码格式对所述网页源码的内容进行识别，直至所述网页源码的内容为正确；

样本生成模块，用于基于所述网页源码的内容得到样本数据。

9.一种计算机设备，其特征在于，所述设备包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的基于网页的样本数据获取方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的基于网页的样本数据获取方法。