[发明专利]用于获取数据的方法和装置

权利要求书

1.一种用于获取数据的方法，包括：

确定目标网站是否未登录；

响应于确定所述目标网站未登录，识别所述目标网站的登录页面中的登录表单，并确定所述登录表单中的各个字段的类别，包括：从所述目标网站的登录页面的页面数据中查找表单标签；提取所述表单标签中所包含的数据；从所提取的数据中确定以下内容的一项或多项作为表单信息：表单提交方式、用于设置或返回控件的层叠样式表样式类；将所述表单信息输入至预先训练的逻辑回归模型，识别出所述登录页面中的登录表单，其中，所述逻辑回归模型用于识别表单的类型；提取所述登录表单中的各个字段的特征信息，将所提取的特征信息输入至预先训练的条件随机场模型，得到各个字段的类别，其中，所述条件随机场模型用于识别表单中的字段的类别；

对于所述登录表单中的每一个字段，输入与该字段的类别相对应的值，以登录所述目标网站；

获取登录所述目标网站后所呈现的页面的页面数据。

2.根据权利要求1所述的用于获取数据的方法，其中，所述确定目标网站是否未登录，包括：

确定本地是否存储有目标网站的临时登录数据；

响应于确定本地存储有所述临时登录数据，访问所述目标网站的目标页面，若所述目标页面被重定向至所述目标网站的登录页面，则确定所述目标网站未登录，其中，所述目标页面为待被获取数据的页面。

3.根据权利要求2所述的用于获取数据的方法，其中，所述确定目标网站是否未登录，包括：

响应于确定本地未存储有所述临时登录数据，确定所述目标网站未登录。

4.根据权利要求1所述的用于获取数据的方法，其中，所述确定目标网站是否未登录，包括：

访问所述目标网站的目标页面，其中，所述目标页面为待被获取数据的页面；

确定所述目标页面中是否包含目标字符串和登录链接；

响应于确定所述目标页面中包含所述目标字符串和/或所述登录链接，确定所述目标网站未登录。

5.根据权利要求1所述的用于获取数据的方法，其中，所述对于所述登录表单中的每一个字段，输入与该字段的类别相对应的值，以登录所述目标网站，包括：

对于所述登录表单中的每一个字段，输入与该字段的类别相对应的值；

利用模拟点击提交方式登录所述目标网站。

6.一种用于获取数据的装置，包括：

确定单元，配置用于确定目标网站是否未登录；

识别单元，配置用于响应于确定所述目标网站未登录，识别所述目标网站的登录页面中的登录表单，并确定所述登录表单中的各个字段的类别，包括：提取模块，配置用于从所述目标网站的登录页面的页面数据中查找表单标签；提取所述表单标签中所包含的数据；从所提取的数据中确定以下内容的一项或多项作为表单信息：表单提交方式、用于设置或返回控件的层叠样式表样式类；第一输入模块，配置用于将所述表单信息输入至预先训练的逻辑回归模型，识别出所述登录页面中的登录表单，其中，所述逻辑回归模型用于识别表单的类型；第二输入模块，配置用于提取所述登录表单中的各个字段的特征信息，将所提取的特征信息输入至预先训练的条件随机场模型，得到各个字段的类别，其中，所述条件随机场模型用于识别表单中的字段的类别；

输入单元，配置用于对于所述登录表单中的每一个字段，输入与该字段的类别相对应的值，以登录所述目标网站；

获取单元，配置用于获取登录所述目标网站后所呈现的页面的页面数据。

7.根据权利要求6所述的用于获取数据的装置，其中，所述确定单元包括：

第一确定模块，配置用于确定本地是否存储有目标网站的临时登录数据；

第二确定模块，配置用于响应于确定本地存储有所述临时登录数据，访问所述目标网站的目标页面，若所述目标页面被重定向至所述目标网站的登录页面，则确定所述目标网站未登录，其中，所述目标页面为待被获取数据的页面。

8.根据权利要求7所述的用于获取数据的装置，其中，所述确定单元还包括：

第三确定模块，配置用于响应于确定本地未存储有所述临时登录数据，确定所述目标网站未登录。