[发明专利]一种基于深度学习的海洋船舶数据采集管理系统及方法

说明书

本发明属于网页数据采集技术领域，涉及海洋船舶数据采集管理系统及方法。一种基于深度学习的海洋船舶数据采集管理系统，包括网页采集模块、文本分类任务管理模块和数据管理及分析模块；所述网页采集模块用于对目标采集网站进行网页采集；所述文本分类任务管理模块用于对采集到的船舶数据进行分类处理；所述数据管理及分析模块用于对处理后的数据进行存储和管理。本发明能够实现网页内容自动采集，相比于传统方法，该系统使用过程中可以设置定时采集的相关参数，完成相应数据采集任务的定时采集及数据更新。可视化界面提供采集目标管理功能、采集任务管理功能、网页分类任务管理、数据管理功能，实现数据采集管理的便捷化和高效化。

技术领域

本发明属于网页数据采集技术领域，涉及海洋船舶数据采集管理系统及方法。

背景技术

数据时代的今天，互联网每天产生的数据早已达到ZB级别，海量的数据对于各个领域学科有着不同的价值，但海量数据产生的同时也出现了大量的噪声数据，这些噪声数据严重影响了数据应用。随着机械技术、自动化技术以及材料技术的不断发展，船舶类型越来越多，给港口管理带来了挑战。船舶分类有助于提高港口管理水平，因此船舶分类引起了人们的高度重视。有价值的学科前沿数据的采集与分类管理对于各学科课题研究来说有非常重要的价值，有助于更及时地获取有效数据，挖掘数据价值，促进海洋领域的发展。

随着大数据技术的发展与应用，数据采集及管理成为海洋船舶分类大数据应用系统开发的重要组成部分，有效信息的采集及管理是数据应用的基础工作。只有在日常工作或研究中需要获取最新的、最相关的信息数据，才能够做出更科学的发展规划与业务判断。

随着海洋大数据的发展，在网络信息获取的过程中往往存在获取途径繁琐、冗余信息量大、数据质量差等问题，导致有效信息无法及时获取，从而影响工作效率和质量，甚至影响决策进展。

在海量数据的管理过程中，由于数据的多领域和多样性，需要花费大量的时间对大量的数据进行分类管理及应用，才能保障更有效地提供给各个学科进行资源利用。

因此，为了提高船舶分类效率，针对当前船舶分类方法存在的精度低、误差大等缺陷，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述困难。

发明内容

本发明的目的是提供了一种基于深度学习的船舶网页提取方法的海洋船舶数据采集管理系统。该系统可以对多源数据进行采集、处理、集成与分类管理，在海洋大数据服务中实现了科研数据的科学采集与管理，发挥了重要的服务作用。

为了实现上述目的，本发明采用的技术方案是：一种基于深度学习的海洋船舶数据采集管理系统，包括网页采集模块、文本分类任务管理模块和数据管理及分析模块；所述网页采集模块用于对目标采集网站进行网页采集；所述文本分类任务管理模块用于对采集到的船舶数据进行分类处理；所述数据管理及分析模块用于对处理后的数据进行存储和管理。

作为本发明的一种优选方式，所述的网页采集模块包括采集目标管理模块、采集任务管理模块和网页文本提取模块；所述采集目标管理模块用于对目标网站信息进行管理；所述采集任务管理模块，用于供用户设置采集任务；所述网页文本提取模块，用于根据用户提交的采集任务，对目标采集网站网页爬取，进行网页文本提取。

进一步优选地，采用爬虫函数对目标网站网页爬取，进行导航标签页判断、数据去重。

进一步优选地，所述的网页文本提取模块通过调用正文提取函数，实现网页文本的提取。

进一步优选地，文本提取包含利用灰度共生矩阵进行船舶分类。

作为本发明的一种优选方式，所述数据存储管理模对数据的管理包括存储管理、数据的导入与导出及数据的存储状态分析。

本发明还提供一种基于深度学习的海洋船舶数据采集管理方法，包括：

步骤1：用户提交采集任务；