[发明专利]一种对多格式数据文件进行解析翻译的方法及装置在审
申请号: | 202011261021.0 | 申请日: | 2020-11-12 |
公开(公告)号: | CN112364206A | 公开(公告)日: | 2021-02-12 |
发明(设计)人: | 冯涛;林鹏 | 申请(专利权)人: | 广东海启星海洋科技有限公司 |
主分类号: | G06F16/901 | 分类号: | G06F16/901;G06F16/903;G06F16/84 |
代理公司: | 广州智斧知识产权代理事务所(普通合伙) 44649 | 代理人: | 孔德超 |
地址: | 510000 广东省广州市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 格式 数据文件 进行 解析 翻译 方法 装置 | ||
1.一种对多格式数据文件进行解析翻译的方法,其特征在于,包括:
检测当前的科学数据文件对应的格式信息;
根据所述格式信息调取相应的解析组件来对所述科学数据文件进行解析以得到数据变量信息;
根据字段映射关系对所述数据变量信息进行关系映射以得到标准数据信息,所述字段映射关系包括个性字段与标准字段的映射关系。
2.如权利要求1所述的对多格式数据文件进行解析翻译的方法,其特征在于,所述格式信息包括nc文件格式、grb文件格式、tiff文件格式和h5文件格式中的一种或者多种,所述解析组件包括netCDF4解析包、xarray解析包和opencv解析包;所述根据所述格式信息调取相应的解析组件来对所述科学数据文件进行解析翻译以得到数据变量信息,包括:
根据nc文件格式调用netCDF4解析包来对科学数据文件进行解析以得到维度内容和变量内容;
对所述变量内容进行数据读取以得到各个变量的属性和属性值,将维度信息、属性和属性值存储为数据变量信息;或者,
根据grb文件格式调用xarry解析包来对科学数据文件进行解析以得到纬度内容、局部变量内容和全局变量内容;
对将所述局部变量内容进行数据读取以得到各个变量的属性、属性值、数据类型和尺寸信息,将维度内容、各个变量的属性、属性值、数据类型、尺寸信息和全局变量内容存储为数据变量信息;或者,
根据h5文件格式调用netCDF4解析包遍历科学数据文件中的第一层变量,以获取变量的属性、属性值、数据类型和尺寸信息;
判断所述第一层变量是否存在下层变量,如果是,则遍历获取下层变量的属性、属性值、数据类型和尺寸信息;
将读取到的第一层变量和下层变量存储为数据变量信息;或者,
根据tiff文件格式调用opencv解析包来对科学数据文件进行解析以得到对应的数据结构和数据类型;
将所述数据结构和数据类型存储为数据变量信息。
3.如权利要求1所述的对多格式数据文件进行解析翻译的方法,其特征在于,所述字段映射关系通过如下步骤获取得到:
获取多种格式的科学历史数据;
对所述科学历史数据进行聚类操作以得到个性字段和标准字段之间的映射关系。
4.如权利要求1-3中任意一项所述的对多格式数据文件进行解析翻译的方法,其特征在于,在所述根据字段映射关系对所述数据变量信息进行关系映射以得到标准数据信息之后,还包括:
对所述标准数据信息进行显示;或,
按照预设格式对所述标准数据信息进行数据存储,所述预设格式包括json格式。
5.如权利要求1-3中任意一项所述的对多格式数据文件进行解析翻译的方法,其特征在于,在所述根据字段映射关系对所述数据变量信息进行关系映射以得到标准数据信息之后,还包括:
对所述标准数据信息进行标准化解析以生成解析索引文件,对所述解析索引文件进行信息存储。
6.如权利要求5所述的对多格式数据文件进行解析翻译的方法,其特征在于,在所述对所述标准数据信息进行标准化解析以生成解析索引文件之后,还包括:
接收用户的发送的信息查询操作,对所述解析索引文件中的数据进行信息调用。
7.如权利要求1-3中任意一项所述的对多格式数据文件进行解析翻译的方法,其特征在于,所述数据变量信息的数据格式包括字符串;在所述检测当前的科学数据文件对应的格式信息之前,还包括:
接收用户的信息读取操作,发送冲突词选择框至用户端;
接收用户的选择结果以对字段映射关系进行更新。
8.一种对多格式数据文件进行解析翻译的装置,其特征在于,包括:
检测模块:用于检测当前的科学数据文件对应的格式信息;
解析模块:用于根据所述格式信息调取相应的解析组件来对所述科学数据文件进行解析以得到数据变量信息;
映射模块:用于根据字段映射关系对所述数据变量信息进行关系映射以得到标准数据信息,所述字段映射关系包括个性字段与标准字段的映射关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东海启星海洋科技有限公司,未经广东海启星海洋科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011261021.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种电子标签防盗保护座
- 下一篇:主动发现分布式自建系统与扫描安全漏洞的方法