[发明专利]天文巡天数据处理方法、系统和存储介质

摘要

本发明提供了一种天文巡天数据处理方法、系统和存储介质，该方法包括：数据分配步骤，将待处理光谱数据文件投递到分布式文件系统，并分割为多个数据块，分配给计算节点；数据计算步骤，进行匹配模板匹配方法对数据块中的待测光谱进行光谱分类并存储光谱分类结果；数据计算步骤包括：读取模板光谱提取模板通用算子，模板通用算子包括：矩阵X＝[fmW4fmW3fmW2fmW fm]值、矩阵X的转置XT值、矩阵X的转置XT和矩阵X的乘积XTX值，fm为模板光谱流量值，W是多项式中波长方向上的变量；读取待测光谱；进行光谱匹配，计算出模板光谱流量值乘以多项式后和待测光谱流量值的卡方误差值；针对每个模板光谱，找到对应最小卡方误差和对应红移，确定待测光谱的分类。

主权项

1.一种天文巡天数据处理方法，其特征在于，该方法包括：数据分配步骤：将待处理光谱数据文件投递到分布式文件系统，并将所述待处理光谱数据文件分割为多个数据块，分配给多个计算节点；数据计算步骤：利用分布式计算框架，在各计算节点，通过模板光谱与多项式叠加后与待测光谱进行匹配的模板匹配方法对数据块中的待测光谱进行光谱分类，并存储光谱分类结果；其中，所述数据计算步骤包括：读取模板光谱，并提取模板通用算子，所述模板通用算子包括以下算子中的至少一个：矩阵X＝[f_mW⁴f_mW³f_mW²f_mWf_m]值、矩阵X的转置X^T值、矩阵X的转置X^T和矩阵X的乘积X^TX值，其中，f_m为模板光谱流量值，W是所述多项式中波长方向上的变量；读取待测光谱；按照预定移动步长将红移进行平移来进行光谱匹配，计算出模板光谱流量值乘以多项式后和待测光谱流量值的卡方误差值；针对每个模板光谱，找到对应最小卡方误差和对应红移，从而确定待测光谱的分类。