[发明专利]一种基于网页的图像获取方法及装置

权利要求书

1.一种基于网页的图像获取方法，其特征在于，包括：

确定待获取图像的第一图像主题；

在网络中抓取网页信息；

确定所述网页信息中的每张图像的位置；

针对所确定的每个位置，以该位置为起点，前后搜索预设数量个逻辑行；针对搜索到的每个逻辑行，判断该逻辑行是否为正文内容；如果是，将该逻辑行作为与该位置相关联的正文内容；

针对所述正文内容中的每个逻辑行，根据该逻辑行的文本字节数和/或标签文本比率和/或超链接比率、以及所述逻辑行与该图像的距离，确定该逻辑行的权重；根据所述正文内容中的每个逻辑行的内容及权重，确定该位置处的图像的第二图像主题；

计算所述第二图像主题与所述第一图像主题的关联度；若所述关联度满足预设规则，获取该位置处的图像。

2.根据权利要求1所述的方法，其特征在于，所述判断该逻辑行是否为正文内容，包括：

确定该逻辑行中包含超文本标记语言标签的文本字节数；

如果所述文本字节数小于第一预设阈值，表示该逻辑行为正文内容；

或者，

确定该逻辑行的标签文本比率，所述标签文本比率为：包含超文本标记语言标签的文本字节数与逻辑行总字节数的比率；

如果所述标签文本比率小于第二预设阈值，表示该逻辑行为正文内容；

或者，

确定该逻辑行的超链接比率，所述超链接比率为：超链接字节数与总字节数的比率；

如果所述超链接比率小于第三预设阈值，表示该逻辑行为正文内容；

或者，

确定该逻辑行的所述文本字节数、所述标签文本比率及所述超链接比率；

如果所述文本字节数小于第一预设阈值，所述标签文本比率小于第二预设阈值，并且所述超链接比率小于第三预设阈值，表示该逻辑行为正文内容。

3.根据权利要求1所述的方法，其特征在于，所述根据所述正文内容，确定该位置处的图像的第二图像主题，包括：

获取以下内容中的一种或多种：所抓取网页信息的网页标题、所述网页信息中各张图像的图像标题、所述各张图像的图像标签属性；

将所获取的内容、以及所述正文内容输入预先构建的向量模型，得到该位置处的图像的第二图像主题；其中，所述向量模型中包含各个输入项对应的权重。

4.根据权利要求1所述的方法，其特征在于，所述计算所述第二图像主题与所述第一图像主题的关联度，包括：

计算所述第二图像主题与所述第一图像主题的直接关联度；

获取所述第二图像主题与所述第一图像主题的间接关联度，所述间接关联度为：所述网页信息的上级网页信息与所述第一图像主题的关联度；

结合所述直接关联度及所述间接关联度，计算所述第二图像主题与所述第一图像主题的关联度。

5.根据权利要求1所述的方法，其特征在于，所述确定所述网页信息中的每张图像的位置，包括：

过滤所述网页信息中的噪音信息；

在过滤后的网页信息中，确定每张图像的位置。

6.一种基于网页的图像获取装置，其特征在于，包括：

第一确定模块，用于确定待获取图像的第一图像主题；

抓取模块，用于在网络中抓取网页信息；

第二确定模块，用于确定所述网页信息中的每张图像的位置；

识别模块，用于针对所确定的每个位置，识别与该位置相关联的正文内容；

第三确定模块，针对所述正文内容中的每个逻辑行，根据该逻辑行的文本字节数和/或标签文本比率和/或超链接比率、以及所述逻辑行与该图像的距离，确定该逻辑行的权重；

根据所述正文内容中的每个逻辑行的内容及权重，确定该位置处的图像的第二图像主题

计算模块，用于计算所述第二图像主题与所述第一图像主题的关联度；

获取模块，用于在所述关联度满足预设规则的情况下，获取该位置处的图像；

其中，所述识别模块，包括：

确定子模块，用于针对所确定的每个位置，以该位置为起点，前后搜索预设数量个逻辑行；

识别子模块，针对搜索到的每个逻辑行，判断该逻辑行是否为正文内容；如果是，将该逻辑行作为与该位置相关联的正文内容。