[发明专利]天文巡天数据处理方法、系统和存储介质

权利要求书

1.一种天文巡天数据处理方法，其特征在于，该方法包括：

数据分配步骤：将待处理光谱数据文件投递到分布式文件系统，并将所述待处理光谱数据文件分割为多个数据块，分配给多个计算节点；

数据计算步骤：利用分布式计算框架，在各计算节点，通过模板光谱与多项式叠加后与待测光谱进行匹配的模板匹配方法对数据块中的待测光谱进行光谱分类，并存储光谱分类结果；

所述模板匹配方法满足如下公式：

用矩阵表达为：

X×B＝f_o；

其中，f_o是待测光谱流量值，f_m为模板光谱流量值，表示所述多项式，β_i表多项式的系数，Wⁱ表示多项式中波长方向上的变量，n为多项式的阶数，X为多项式中波长方向上的变量Wⁱ与f_m的乘积的矩阵表达，B为多项式中系数β_i的矩阵表达；

其中，所述数据计算步骤包括：

读取模板光谱，并提取模板通用算子，所述模板通用算子包括以下算子中的至少一个：矩阵X＝[f_mWⁿ f_mW^n-1…f_mW² f_mW f_m]值、矩阵X的转置X^T值、矩阵X的转置X^T和矩阵X的乘积X^TX值；

读取待测光谱；

按照预定移动步长将红移进行平移来进行光谱匹配，计算出模板光谱流量值乘以多项式后和待测光谱流量值的卡方误差值；

针对每个模板光谱，找到对应最小卡方误差和对应红移，从而确定待测光谱的分类。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

数据预处理步骤：提取巡天文件数据信息，对提取的信息进行格式化处理，得到待处理光谱数据文件。

3.如权利要求2所述的方法，其特征在于，所述数据预处理步骤包括：读取FITS格式巡天文件数据，并提取FITS头信息和光谱数据，可将提取的信息进行格式化并合并。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

将提取模板通用算子存储为广播变量，并发送给各个计算节点。

5.如权利要求1所述的方法，其特征在于，所述针对每个模板光谱，找到对应最小卡方误差和对应红移的步骤包括：

针对每一模板光谱，找到最小卡方误差及其周围的预定个数的卡方误差点，进行高斯拟合；

根据高斯拟合曲线的最低点作为当前模板得到最小卡方误差及其对应的红外值。

6.如权利要求1所述的方法，其特征在于，所述分布式计算框架为Spark计算框架。