[发明专利]一种数据格式转换方法、装置、设备及可读存储介质有效
申请号: | 201910712544.3 | 申请日: | 2019-08-02 |
公开(公告)号: | CN110515894B | 公开(公告)日: | 2023-07-21 |
发明(设计)人: | 王超辉 | 申请(专利权)人: | 济南浪潮数据技术有限公司 |
主分类号: | G06F16/11 | 分类号: | G06F16/11;G06F16/182 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王云晓 |
地址: | 250101 山东省济南市高新区*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据格式 转换 方法 装置 设备 可读 存储 介质 | ||
1.一种数据格式转换方法,其特征在于,应用于HDFS分布式文件系统,包括:
获取用户通过人机交互界面输入的源数据的源路径,以及目的数据的目的路径和目的格式;所述源路径和所述目的路径均为HDFS分布式文件系统中的路径;
按照所述源路径读取所述源数据,并确定所述源数据的源格式;
从预设的格式转换器中调用与所述源格式和所述目的格式匹配的格式转换程序将所述源数据由所述源格式转换为所述目的格式,获得所述目的数据;所述格式转换器中存储有多种格式转换程序,包括:二进制数据格式转文本数据格式的格式转换程序,文本数据格式转二进制数据格式的格式转换程序;
按照所述目的路径存储所述目的数据;
其中,所述获取用户通过人机交互界面输入的源数据的源路径,包括:
获取用户通过人机交互界面输入的多个源数据的源路径,以将多个源路径分别对应的源数据同时转换为目的格式,转换得到的目的数据存储为同一目的路径下的不同文件或存储为同一目的路径下的同一文件;
其中,所述获取用户通过人机交互界面输入的多个源数据的源路径,包括:
获取用户通过人机交互界面输入的源数据的不完整源路径;
利用正则匹配方式查找与所述不完整源路径对应的所有完整源路径,并将所有完整源路径确定为所述源路径;
其中,所述按照所述目的路径存储所述目的数据之后,还包括:
获取用户通过人机交互界面输入的删除指令,并根据所述删除指令删除所述源数据;
其中,还包括:
记录所述源数据的格式转换日志;格式转换日志中记录:源数据的名称、源路径、源格式;目的数据的名称、目的路径、目的格式;转换过程调用的格式转换程序的标识信息。
2.根据权利要求1所述的数据格式转换方法,其特征在于,所述按照所述目的路径存储所述目的数据之后,还包括:
将所述源路径,所述目的路径和所述目的格式存储至历史参数记录表。
3.根据权利要求1所述的数据格式转换方法,其特征在于,所述按照所述目的路径存储所述目的数据之后,还包括:
调用与所述目的格式对应的数据读取程序读取所述目的数据。
4.一种数据格式转换装置,其特征在于,应用于HDFS分布式文件系统,包括:
获取模块,用于获取用户通过人机交互界面输入的源数据的源路径,以及目的数据的目的路径和目的格式;所述源路径和所述目的路径均为HDFS分布式文件系统中的路径;
读取模块,用于按照所述源路径读取所述源数据,并确定所述源数据的源格式;
转换模块,用于从预设的格式转换器中调用与所述源格式和所述目的格式匹配的格式转换程序将所述源数据由所述源格式转换为所述目的格式,获得所述目的数据;所述格式转换器中存储有多种格式转换程序,包括:二进制数据格式转文本数据格式的格式转换程序,文本数据格式转二进制数据格式的格式转换程序;
存储模块,用于按照所述目的路径存储所述目的数据;
其中,获取模块具体用于:获取用户通过人机交互界面输入的多个源数据的源路径,以将多个源路径分别对应的源数据同时转换为目的格式,转换得到的目的数据存储为同一目的路径下的不同文件或存储为同一目的路径下的同一文件;
其中,获取模块包括:
获取单元,用于获取用户通过人机交互界面输入的源数据的不完整源路径;
查找单元,用于利用正则匹配方式查找与不完整源路径对应的所有完整源路径,并将所有完整源路径确定为源路径;
其中,还包括:
删除模块,用于获取用户通过人机交互界面输入的删除指令,并根据所述删除指令删除所述源数据;
其中,还包括:
记录模块,用于记录所述源数据的格式转换日志;格式转换日志中记录:源数据的名称、源路径、源格式;目的数据的名称、目的路径、目的格式;转换过程调用的格式转换程序的标识信息。
5.一种数据格式转换设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,以实现如权利要求1至3任一项所述的数据格式转换方法。
6.一种可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的数据格式转换方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于济南浪潮数据技术有限公司,未经济南浪潮数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910712544.3/1.html,转载请声明来源钻瓜专利网。