[发明专利]一种面向天文星表的压缩预处理编码器、应用在审
申请号: | 202310314596.1 | 申请日: | 2023-03-28 |
公开(公告)号: | CN116405037A | 公开(公告)日: | 2023-07-07 |
发明(设计)人: | 梁波;丁锐恒 | 申请(专利权)人: | 昆明理工大学 |
主分类号: | H03M7/30 | 分类号: | H03M7/30 |
代理公司: | 昆明人从众知识产权代理有限公司 53204 | 代理人: | 陈波 |
地址: | 650093 云*** | 国省代码: | 云南;53 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 天文 压缩 预处理 编码器 应用 | ||
本发明公开了一种面向天文星表的压缩预处理编码器、应用,编码器包括:判断模块,用于判断数据流类型,分为第一类型数据、第二类型数据;预处理模块,用于将第二类型数据进行预处理;分割重组模块,用于将预处理后的数据进行分割重组。本发明一方面用于天文星表数据的压缩预处理,另一方面,可以用于与Snappy压缩算法结合,有效的提高Snappy算法在压缩星表数据时的压缩质量,能够使Snappy算法的综合性能优于LZ4和ZSTD算法。
技术领域
本发明涉及一种面向天文星表的压缩预处理编码器、应用,属于通信领域。
背景技术
天文星表数据是天文观测设备采集的原始观测数据经过一系列处理所生成的数据之一,用于保存星体的坐标(赤经和赤纬)、星等、光谱型、质量、年龄等一系列星体参数。随着天文观测设备的升级,目前天文观测设备所采集的数据无论是规模还是精准度都明显提高,相应的星表数据所记录的星体数目和属性参数也随之提高,盖亚卫星(GlobalAstrometric Interferometer forAstrophysics,GAIA)最新发布的第三版星表数据GaiaDR3的数据量已经达到18亿条。作为以数据驱动的学科,海量的天文数据为天文学家探究宇宙规律提供了有力支撑,但同时也对数据的存储管理提出了不小的挑战。利用数据压缩技术能够在不损失星表信息量的前提下对星表数据进行编码重组,从而优化天文星表的存储空间,提高天文星表的传输效率。
目前,在进行天文星表数据压缩时可以选择通用型的无损压缩算法,如LZ4、ZSTD、Snappy等,以Snappy为例,其压缩流程如图2所示,包括:第1步,首先在匹配开始阶段初始化用于匹配的字典Dict,字典内保存滑动窗口中每一个字节开始4个字节转换成Uint32的偏移值,字典的下标为偏移值的Hash值;第2步,从缓冲区内开始读取数据,计算从当前位置Ptr_now开始的4字节转换成Uint32后的hash值hashPtr_now;第3步,将hashPtr_now与Ptr_ver对应在字典Dict中的hash值进行匹配;第4步,若不相等,则输出未匹配数据同时Ptr_now自增1并更新字典转至第2步;若相等,则继续匹配;第5步,记录最大匹配长度的匹配信息match_info(匹配长度len、偏移量offset、未匹配字节数litcount);第6步,输出压缩结果,检查是否压缩结束,否则转至第2步。在通用型压缩算法中Snappy算法的压缩、解压效率更优并且在执行压缩时对CPU和内存的占用较低,但Snappy压缩后的文件普遍较大,经过测试Snappy压缩后文件的大小相对LZ、ZSTD要大20%到50%。而压缩后文件的大小是衡量压缩算法性能最重要的因素之一,因此Snappy在天文星表的存储领域虽有一定的应用前景,但并未被实际运用。
发明内容
本发明提供了一种面向天文星表的压缩预处理编码器、应用,以用于实现天文星表数据的压缩预处理,并进一步用于与传统通用型压缩算法结合进行数据压缩。
本发明的技术方案是:
根据本发明的一方面,提供了一种面向天文星表的压缩预处理编码器,包括:
判断模块,用于判断数据流类型,分为第一类型数据、第二类型数据;
预处理模块,用于将第二类型数据进行预处理;
分割重组模块,用于将预处理后的数据进行分割重组。
所述判断模块,包括:以星表数据的列数据作为一个数据流;对数据流类型进行判断,分为第一类型数据、第二类型数据;第一类型数据包括文本、布尔型数据,第二类型数据为数值型数据,数值型数据包括整型数据和浮点型数据。
所述预处理模块,包括:
如果第二类型数据为整型数据,则采用增量编码处理,获得增量处理后的序列;
如果第二类型数据为浮点型数据,则选择浮点型数据的符号位和指数位进行异或比较后输出序列。
所述分割重组模块,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于昆明理工大学,未经昆明理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310314596.1/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种机械式组合针阀偶件
- 下一篇:一种存储控制系统及存储服务器