[发明专利]一种基于云计算的海洋档案数据库并行化构建方法和装置在审
申请号: | 201910976596.1 | 申请日: | 2019-10-15 |
公开(公告)号: | CN110716897A | 公开(公告)日: | 2020-01-21 |
发明(设计)人: | 王玉玲;唐兆民;冯华;张小军;吴小玲;吴海萍 | 申请(专利权)人: | 北部湾大学 |
主分类号: | G06F16/11 | 分类号: | G06F16/11;G06F16/21;G06F16/22;G06F16/23;G06F16/25;G06F16/35 |
代理公司: | 37236 青岛致嘉知识产权代理事务所(普通合伙) | 代理人: | 李浩成 |
地址: | 535011 广西壮族*** | 国省代码: | 广西;45 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 海洋 档案 并行化 数据库 档案数据 档案数据库 多个数据库 方法和装置 动态分析 动态数据 多核并行 接口文件 静态分析 静态数据 档案管理 动态性 工程化 静态性 可视化 云计算 导出 构建 聚类 算法 解析 分区 移植 查询 混乱 优化 语言 展示 分析 管理 | ||
1.一种基于云计算的海洋档案数据库并行化构建方法,其特征在于,包括:
对海洋档案进行聚类划分,将所述海洋档案构建成多个数据库分区,将海洋档案分为静态性档案和动态性档案;
基于HBase的虚拟过滤云数据库进行并行化接口设计,将聚类分区结果以数据块的格式通过本地读操作完成,当Reduce阶段结束的时候,所有的MapReduce作业结果会存储到分布式文件系统HDFS中,采用SQL操作语言对这些数据进行查询和分析,导出并行化接口文件;
解析所述并行化接口文件,并行化接口文件的动作数据特征值经过Mapreduce 进行数据预处理之后存储,动作数据发生时间通过 Mapreduce 程序移交到数据库检查所述并行化接口文件是否符合规格,并且检查数字签名,检定真伪和完整性,如果符合系统会根据档案信息包模板生成 XML 格式的档案信息包行保存;
从档案信息包提取保存静态信息中的目录信息,更新档案信息的案卷和卷内目录,采用远程过程调用协议服务,数据库视图中侦听消息,处理接收到的请求和可接收的响应消息;
调用任务调度算法产生任务分配策略,并对保存有待加密 SQL 语句的并行化接口文件按照任务分配策略进行分割;
釆用SN的体系结构以及实现模型为扩充模型,根据自测系统和各个数据分布方法的特点, Round-Robin法对数据对象进行分布并设计实现,优化策略对底层的每一个参与算法的信号处理函数库进行优化,最终得到一个完整的底层多核并行优化数据库,该数据库作为海洋档案的数据库进行算法的工程化移植;
进行海洋档案数据库可视化管理和虚拟数据库建设,利用三维建模技术,将海洋档案数据库建模的结果嵌入到海洋档案数据库中,最终实现用户利用档案时即可进行智慧海洋档案数据库管理。
2.如权利要求1所述的基于云计算的海洋档案数据库并行化构建方法,其特征在于:
所述对海洋档案进行聚类划分,将所述海洋档案构建成多个数据库分区,将海洋档案分为静态性档案和动态性档案,具体包括:
静态性档案主要包括:静态型数据挖掘技术指的是利用静态的行为将数据中存在的规则进行静态,从而根据数据的微观性特点找出数据存在的深层次的、宏观的知识,并将同一类事物的相同属性表现在数据的概括总结以及抽象的事物静态中;
动态性档案数据主要是指针对现有的、已存在的数据进行分析处理,总结出同一类事物的共同属性,并动态在未来一段时间内事物的规律,包括针对海洋专业数据中的风、浪、潮、流,通过专用的模型对历史资料进行分析动态;
进一步地,所述静态性档案还包括:高校海洋档案和海洋机关档案,
所述高校海洋档案包括:学校主题档案,针对多个海洋高校进行校史主题档案构建,反映海洋类高校发展事件及名人的照片、手稿、实物的主线;人物档案,包括各高校人才团队档案和知名专家学者、优秀学子、校友形成的档案;教学成果主题档案,教学成果档案涵盖了高校海洋教学、管理等各项活动的所有记录;科技成果主题档案,海洋科技成果档案收集了各高校专家、学者从事科学研究的各个阶段的资料;媒体宣传档案,运用现代信息、网络技术工具,抓住新闻媒体贴近公众生活的特点,通过图文并茂的载体形式,挖掘整理高校与海洋相关的各个专题;多媒体档案主题,涉及高校的历史演变、社会实践、科学技术方面,通过采访老教师、老专家、老船员以声像磁带为档案载体;
所述海洋机关产生的档案包括海洋机关文书档案、海洋科技档案,细分为海洋观测档案、海洋预报档案、海洋监测档案、海洋调查档案、海洋遥感卫星档案、海洋专项档案、海洋课题档案、海洋执法档案、海洋成果档案、海洋基建档案、人事档案、声像档案;
针对数据类型和特点将海洋科技档案资料分为指令性项目、开发服务项目、仪器设备、声像和实物类, 各大类数据又细分为若干子类;依据数据分类规则, 创建数据字典, 编制分类代码, 开发数据字典管理模块, 便于对数据类别名称和代码的管理和维护。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北部湾大学,未经北部湾大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910976596.1/1.html,转载请声明来源钻瓜专利网。