[发明专利]一种基于深度学习的海洋船舶数据采集管理系统及方法

权利要求书

1.一种基于深度学习的海洋船舶数据采集管理系统，其特征在于：包括网页采集模块、文本分类任务管理模块和数据管理及分析模块；所述网页采集模块用于对目标采集网站进行网页采集；所述文本分类任务管理模块用于对采集到的船舶数据进行分类处理；所述数据管理及分析模块用于对处理后的数据进行存储和管理。

2.根据权利要求1所述的基于深度学习的海洋船舶数据采集管理系统，其特征在于：所述的网页采集模块包括采集目标管理模块、采集任务管理模块和网页文本提取模块；所述采集目标管理模块、用于对目标网站信息进行管理；所述采集任务管理模块，用于供用户设置采集任务；所述网页文本提取模块，用于根据用户提交的采集任务，对目标采集网站网页爬取，进行网页文本提取。

3.根据权利要求2所述的基于深度学习的海洋船舶数据采集管理系统，其特征在于：采用爬虫函数对目标网站网页爬取，所述的爬虫函数，进行导航标签页判断、数据去重及定时爬取。

4.根据权利要求2所述的基于深度学习的海洋船舶数据采集管理系统，其特征在于：所述的网页文本提取模块通过调用正文提取函数，实现网页文本的提取。

5.根据权利要求4所述的基于深度学习的海洋船舶数据采集管理系统，其特征在于：文本提取包含利用灰度共生矩阵进行船舶分类。

6.根据权利要求1所述的基于深度学习的海洋船舶数据采集管理系统，其特征在于：所述数据存储管理模对数据的管理包括存储管理、数据的导入与导出及数据的存储状态分析。

7.一种基于深度学习的海洋船舶数据采集管理方法，其特征在于，包括：

步骤1：用户提交采集任务；

步骤2：获取目标网站上包含海洋船舶数据的网页；

步骤3：对网页上的文本数据进行提取，包括内容理解、船舶分类、数据分析；

步骤4：对提取的文本数据进行分类；

步骤5：完成采集数据的存储。

8.根据权利要求7所述的基于深度学习的海洋船舶数据采集管理方法，其特征在于，所述步骤2中，采用网页爬虫函数对目标网站进行爬取，采集网页源代码。

9.根据权利要求7所述的基于深度学习的海洋船舶数据采集管理方法，其特征在于，所述步骤3中，通过构建基于船舶图像灰度共生矩阵的船舶分类模型，进行船舶分类。

10.根据权利要求9所述的基于深度学习的海洋船舶数据采集管理方法，其特征在于，船舶图像的灰度共生矩阵为：

P(i；j)＝{f(x₁，y₁)；(x₂，y₂)|f(x₁，y₁)＝i；f(x₂，y₂)＝j}

式中，f(x，y)为一幅船舶图像，其灰度级别为Ng；(x₁，y₁)和(x₂，y₂)分别为船舶图像的2个像素。