[发明专利]一种快速大规模影像数据分布式流水线处理方法和系统

权利要求书

1.一种快速大规模影像数据分布式流水线处理方法，其特征在于：其方法包括以下步骤：

A、分布式存储：Apache Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用；

B、分布式计算：基于JTS框架，实现了一系列支持Spark分布式计算的影像数据分布式计算方法，实现大规模影像数据的快速分布式计算；

C、流水线自动化处理：实现了基于HDFS和Accumulo及Spark的大规模影像数据存储和计算后，为方便影像数据的自动化处理，引入了分布式流水线技术。

2.根据权利要求1所述的一种快速大规模影像数据分布式流水线处理方法，其特征在于：所述步骤A支持二进制序列化方式，动态语言友好，且影像底层数据存储采用Avro数据序列化架构。

3.根据权利要求1所述的一种快速大规模影像数据分布式流水线处理方法，其特征在于：所述步骤B包含影像代数运算、影像数据统计运算、影像切割和融合运算、影像投影运算，同时，影像代数运算为：Abs，Acos，Add，And，Asin，Atan，Atan2，Ceil，Max，Mean，Min，MinN，Minority，Multiply等；影像数据统计运算为：基于指定的多边形区域，对区域内影像数据进行Min，Mean，Max，Sum等统计运算；影像切割和融合运算为：将大影像数据基于指定的布局切割为多个小的影像数据，将多个小影像数据基于指定的布局融合成一个大的影像数据；影像投影运算为：将影像数据从一种坐标系转换为另一种坐标系。

4.根据权利要求1所述的一种快速大规模影像数据分布式流水线处理方法，其特征在于：所述步骤C通过配置流水线的输入、输出，自动完成影像数据的ETL（数据抽取、转换和加载）。

5.一种快速大规模影像数据分布式流水线处理系统，其特征在于：包括输入部分、转换部分和输出部分，

输入部分，可从HDFS或本地文件中读入影像数据；

转换部分，支持对读入的数据进行投影转换、合并、计算、统计等操作；

输出部分，支持将转换后的数据写入到HDFS或Accumulo数据库中。