[发明专利]一种基于Spark Streaming的敏感内容识别方法及装置

权利要求书

1.一种基于Spark Streaming的敏感内容识别的方法，其特征在于，所述方法包括：

步骤S201：Spark Streaming处理集群从kafka集群中获取文本数据，从TCP SOCKETS服务器中获取图片流数据，从敏感内容规则定义模块接收定义好的敏感内容识别规则；

步骤S202：由Spark Streaming处理集群的Driver节点按照调度规则调度需要使用的Executor计算节点；

步骤S203：所述Driver节点将计算方式、敏感内容识别规则发送给所述需要使用的Executor计算节点；

步骤S204：由所述需要使用的Executor计算节点对获取到的文本数据、图片流数据进行计算，得到敏感内容及相应的敏感内容出现的次数；将计算结果反馈到所述Driver节点，由所述Driver节点进行汇总处理；

步骤S205：所述Driver节点输出敏感内容及相应的敏感内容出现的次数。

2.如权利要求1所述的基于Spark Streaming的敏感内容识别的方法，其特征在于，所述步骤S202：由Spark Streaming处理集群的Driver节点按照调度规则调度需要使用的Executor计算节点，包括：

由Spark Streaming处理集群的Driver节点按照调度规则计算需要使用哪些Executor计算节点进行数据计算，进而调度相应的Executor计算节点；所述数据计算包括spark-sql处理、关键字包含计算、分析图片数据。

3.如权利要求1所述的基于Spark Streaming的敏感内容识别的方法，其特征在于，所述调度规则包括考虑各Executor计算节点的负载均衡、运算能力。

4.如权利要求1所述的基于Spark Streaming的敏感内容识别的方法，其特征在于，以正则表达式或模板的形式表达并定义敏感内容识别规则。

5.一种基于Spark Streaming的敏感内容识别的装置，其特征在于，所述装置包括：

获取模块：用于由Spark Streaming处理集群从kafka集群中获取文本数据，从TCPSOCKETS服务器中获取图片流数据，从敏感内容规则定义模块接收定义好的敏感内容识别规则；

调度模块：用于由Spark Streaming处理集群的Driver节点按照调度规则调度需要使用的Executor计算节点；

传递模块：用于由所述Driver节点将计算方式、敏感内容识别规则发送给所述需要使用的Executor计算节点；

计算模块：用于由所述需要使用的Executor计算节点对获取到的文本数据、图片流数据进行计算，得到敏感内容及相应的敏感内容出现的次数；将计算结果反馈到所述Driver节点，由所述Driver节点进行汇总处理；

输出模块：用于所述Driver节点输出敏感内容及相应的敏感内容出现的次数。

6.如权利要求5所述的基于Spark Streaming的敏感内容识别的装置，其特征在于，所述调度模块包括：

确定子模块：由Spark Streaming处理集群的Driver节点按照调度规则计算需要使用哪些Executor计算节点进行数据计算，进而调度相应的Executor计算节点；所述数据计算包括spark-sql处理、关键字包含计算、分析图片数据。

7.如权利要求5所述的基于Spark Streaming的敏感内容识别的装置，其特征在于，所述调度规则包括考虑各Executor计算节点的负载均衡、运算能力。

8.如权利要求5所述的基于Spark Streaming的敏感内容识别的装置，其特征在于，以正则表达式或模板的形式表达并定义敏感内容识别规则。