[发明专利]一种面向软件定义卫星的大数据系统及数据自动处理方法

说明书

本申请实施例提供面向软件定义卫星的大数据系统以及服务处理方法，所述大数据系统包括：数据预处理及数据库管理模块，被配置为：将待录入的非结构化数据转换为标准数据结构对应的目标数据，并实现对结构化数据、所述目标数据和与所述目标数据对应的元数据的管理操作；结构化/非结构化数据库，被配置为存储所述结构化数据以及所述目标数据；多个数据处理服务模块；交互前端模块；命令/交互操作解析模块，被配置为解析所述命令或所述交互操作并根据解析结果确定目标请求服务类型或者执行与数据库访问相关的服务请求指令；系统运行控制模块，被配置为依次调用至少两个数据处理服务以实现与所述目标请求服务类型对应的目标请求服务。

技术领域

本申请涉及卫星领域，具体而言本申请实施例涉及一种面向软件定义卫星的大数据系统及数据自动处理方法。

背景技术

传统的大数据平台虽然包括海量数据管理、遥感数据处理等能力，但是数据与服务存在一定的局限性。服务是以数据为基础的，而数据往往是较为固定的几类数据，如：Spot系列卫星、环境星、资源系列卫星。涉及到的数据主要是各星自身产生的数据，如：图像、视频等。各卫星数据平台仅对自身产生的数据进行管理与处理，因此其服务的种类和能力也基本被限定住。而软件定义卫星的航天大数据则包括：遥感数据、空间数据、运控数据、遥测数据等。数据来源不同、存储格式不同、使用目的不同导致数据的管理与后续使用发生了极大的变化，使得传统的大数据平台不再完全适合基于软件定义卫星的多源数据管理、多样化的数据处理需求。

此外，目前星上基本无大数据平台，更无较多且多样化的数据实时处理服务，因此如何在地面云端或者卫星上部署高效的大数据处理平台成了亟待解决的技术问题。

发明内容

本申请实施例的目的在于提供一种面向软件定义卫星的大数据系统及数据自动处理方法，一方面本申请实施例提供的大数据系统支持不同卫星载荷的遥感数据、空间数据、运控数据、遥测数据等航天大数据的存储与管理，从根本上适应了软件定义卫星数据多元化管理的要求，另一方面本申请的实施例提供的大数据系统是面向软件定义卫星航天大数据管理以及数据的多样化服务处理，是集“数据获取-数据管理-服务应用-产品生产”的一体化大数据平台。

第一方面，本申请的一些实施例提供一种面向软件定义卫星的大数据系统，所述大数据系统包括：数据预处理及数据库管理模块，被配置为：将待录入的非结构化数据转换为标准数据结构对应的待录入的目标数据，并实现对结构化数据、所述目标数据和与所述目标数据对应的元数据的管理操作；结构化/非结构化数据库，被配置为存储所述结构化数据以及所述目标数据；多个数据处理服务模块，其中，每个数据处理服务模块被配置为对所述待录入的非结构化数据或者所述目标数据提供一种数据处理服务，其中，针对所述待录入数据的服务类型包括：数据录入服务、数据格式转换服务以及缩略图生成服务；服务镜像库，被配置为存储所述多个数据处理服务模块对应的应用镜像，其中，所述应用镜像包括：各个数据处理服务运行所需的库、环境以及程序；交互前端模块，被配置为接收前端用户输入的命令或者交互操作；命令/交互操作解析模块，被配置为解析所述命令或所述交互操作并根据解析结果确定目标请求服务类型或者执行与数据库访问相关的服务请求指令；系统运行控制模块，被配置为：根据所述结构化/非结构化数据库所存储的数据和设定流程，依次调用至少两个数据处理服务以实现与所述目标请求服务类型对应的目标请求服务，其中，一个数据处理服务与一个数据处理服务模块对应；其中，所述服务镜像库以及实现所述多个数据处理服务模块以插件的形式设置于所述大数据系统中。

通过本申请的实施例提供的大数据系统对应的平台，既可以为用户提供数据又可以为用户提供各类服务，也就是说，本申请实施例提供的大数据系统既用于实现对待录入系统的数据进行处理，也用于实现用户输入的各类请求服务。