[发明专利]一种Spark分析结果的传输方法及装置

权利要求书

1.一种Spark分析结果的传输方法，其特征在于：包括以下步骤；

S1，获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据；

S2，创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段对该新JsObject数据进行加密，所述根据本地预设规则设置特定字段为：在新JsObject数据中添加以特殊字符串呈现的credential字段，获取加密后的JsObject数据；

创建JsObject数据，将该List[JsObject]类型的数据存入JsObject数据中，获取新JsObject数据，并根据本地预设规则设置特定字段，将该特定字段与新JsObject数据中的List[JsObject]类型的数据进行绑定，然后通过该特定字段对该新JsObject数据进行加密，获取加密后的JsObject数据；

获取本地预设规则，根据本地预设规则生成带有密匙的加密字符串，将该加密字符串与新JsObject数据中的List[JsObject]类型的数据进行绑定，并根据该加密字符串对该新JsObject数据进行加密，并将密匙与加密后的数据进行关联；

S3，通过HTTP POST请求将加密后的JsObject数据发送，并等待Spark数据更新；

接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，根据验证结果，对Spark数据进行更新。

2.如权利要求1所述的Spark分析结果的传输方法，其特征在于：步骤S1中，获取Dataset[A]类型的数据，根据本地转换规则，将该Dataset[A]类型的数据转化为List[JsObject]类型的数据，还包括以下步骤，所述本地转换规则包括：collct方法、tolist方法以及map方法，获取Dataset[A]类型的数据，通过collct方法将Dataset[A]类型的数据转化为Array[A]类型的数据，通过tolist方法将Array[A]类型的数据转化为List[A]类型的数据，最后通过map方法将List[A]类型的数据转化为List[JsObject]类型的数据。

3.如权利要求1所述的Spark分析结果的传输方法，其特征在于：步骤S3中，通过HTTPPOST请求将加密后的JsObject数据发送，并等待Spark数据更新，还包括以下步骤，通过HTTP POST请求将加密后的JsObject数据发送，并设置Spark数据的等待更新时间，并实时记录等待Spark数据更新的响应时间，将该实时记录等待Spark数据更新的响应时间与等待更新时间进行比较，当响应时间大于等待更新时间时，向系统发出错误信息，并记录该错误信息，退出Spark批处理程序；当响应时间小于等待更新时间时，记录Spark数据更新信息，并退出Spark批处理程序。

4.如权利要求1所述的Spark分析结果的传输方法，其特征在于：接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，根据验证结果，对Spark数据进行更新，还包括以下步骤，接收程序从HTTP POST请求中提取加密后的JsObject数据，并对该加密后的JsObject数据进行验证，当验证失败时，向系统发送错误信息；当验证成功时，从该加密后的JsObject数据中解析出新的Spark批处理结果，根据该新的Spark批处理结果对Spark数据进行更新。