[发明专利]天文巡天数据处理方法、系统和存储介质

说明书

本发明提供了一种天文巡天数据处理方法、系统和存储介质，该方法包括：数据分配步骤，将待处理光谱数据文件投递到分布式文件系统，并分割为多个数据块，分配给计算节点；数据计算步骤，进行匹配模板匹配方法对数据块中的待测光谱进行光谱分类并存储光谱分类结果；数据计算步骤包括：读取模板光谱提取模板通用算子，模板通用算子包括：矩阵X＝[f_mW⁴f_mW³f_mW²f_mW f_m]值、矩阵X的转置X^T值、矩阵X的转置X^T和矩阵X的乘积X^TX值，f_m为模板光谱流量值，W是多项式中波长方向上的变量；读取待测光谱；进行光谱匹配，计算出模板光谱流量值乘以多项式后和待测光谱流量值的卡方误差值；针对每个模板光谱，找到对应最小卡方误差和对应红移，确定待测光谱的分类。

技术领域

本发明涉及天文数据处理技术领域，尤其涉及一种天文巡天数据处理方法、系统和存储介质。

背景技术

随着大数据时代的全面到来，天文数据处理也迎来了新的时期。对TB甚至PB数量级的天文数据处理用传统的数据处理方法和传统的计算框架越来越吃力。郭守敬望远镜(LAMOST，大天区面积多目标光纤光谱天文望远镜)一次观测能够同时获得4000个天体的光谱，是世界上光谱获取率最高的巡天望远镜，该望远镜肩负着星体的普查工作，已经运行了多个年头，发布的光谱数据累计高达1000多万条。传统的处理方法是用高性能工作站来处理这些数据，如图1所示。图1中，管理工作站2用于进行巡天数据管理，将来自3U存储服务器3的巡天数据通过内部网络传送给一台或多台运算工作站4进行运算，用户终端1用于向管理工作站2发送操作指令。郭守敬望远镜巡天数据的一维光谱处理通过模板匹配进行光谱分类，在传统技术下利用奇异值分解(SVD：Singular Value Decomposition)来求多项式的系数进行模板匹配产生的计算量直接与模板的个数有关，增加模板个数就增加成倍的工作量，在处理大数据时是非常可怕的后果。就目前1000万条郭守敬望远镜巡天光谱来说，单个服务器处理一遍需要5000小时。若把光谱分开来给32台服务器同时处理，也需要160小时，处理成本(时间成本，硬件成本)非常大。如果再增加100个模板，处理时间就要延长100倍，而且处理过程中如果出现问题需要重新处理，后果更是不堪设想。随着巡天光谱数据更加完备，模板数量也会不断的增多，传统的处理方法就只能不断的扩大运行成本，并使得计算越来越困难。

随着海量巡天数据的产生，对巡天数据的这种传统计算方法在数据读取和数据计算过程中都会出现不同程度的短板，如果仅仅利用单台工作站计算通常不能在可接受的时间内完成工作，而依托多台独立工作站采用多线程的处理方式往往会出现分配不均，结果难处理等问题，处理时间仍旧太长。并且这种工作方式没有数据共享和实时容灾恢复机制，为数据的后期处理带来一定的风险。

也即，随着天文巡天数据量的增大，传统的处理方法显得捉襟见肘，如何快速有效的处理这些巡天数据是本发明亟待解决的一个问题。

发明内容

有鉴于此，本发明提供了一种天文望远镜巡天数据处理方法、系统和存储介质，以能够快速有效的处理巡天数据。

为了实现上述目的，本发明采用以下方案：

本发明的一方面提供一种天文巡天数据处理方法，该方法包括：

数据分配步骤：将待处理光谱数据文件投递到分布式文件系统，并将所述待处理光谱数据文件分割为多个数据块，分配给多个计算节点；

数据计算步骤：利用分布式计算框架，在各计算节点，通过模板光谱与多项式叠加后与待测光谱进行匹配的模板匹配方法对数据块中的待测光谱进行光谱分类，并存储光谱分类结果；所述模板匹配方法满足如下公式：

用矩阵表达为：