[发明专利]一种基于Spark与YARN的邮件内容分析方法

权利要求书

1.一种基于Spark与YARN的邮件内容分析方法，主要包括5个模块：数据预处理模块、邮件特征抽取与分析模块、邮件分类与关联分析模块、数据持久化与查询模块、以及数据可视化模块；

其特征在于，所述方法，将大量邮件数据内容经过预处理后，进行主题定位和特征词提取，并根据特征词与主题的关联程度赋以不同的权重，对邮件内容进行量化；再根据量化结果，对邮件进行分类，将具有关联关系的邮件放在一个划分集合内；通过算法计算两封邮件之间的类似程度，并进行多次迭代计算，并将最终计算结果，写回到HBASE数据库，并提供查询服务。

2.根据权利要求一所述的一种基于Spark与YARN的邮件内容分析方法，其特征在于，

所述的数据处理模块，将原始的邮件数据上传到HDFS，系统通过读取这些保存在HDFS上的文件，提取邮件元数据以及邮件内容，将读取到的记录保存到HBase存储中，并将邮件数据记录序列化转换后合并写入到新的HDFS文件中。

3.根据权利要求一所述的一种基于Spark与YARN的邮件内容分析方法，其特征在于，

所述的邮件特征抽取与分析模块，主要用于，将经过预处理的数据文件存放在HDFS上，通过自然语言分析处理工具对邮件内容进行主题定位和特征词提取，根据设定的数据以及特征词与主题的关联程度赋以不同的权重，对邮件内容进行量化。

4.根据权利要求一所述的一种基于Spark与YARN的邮件内容分析方法，其特征在于，

所述的邮件分类与关联分析模块，主要用于，根据邮件特征抽取与分析模块输出的量化信息对邮件进行分类，将具有关联关系的邮件放在一个划分集合内；通过计算两个邮件特征量化参考值之间的相似度，计算两封邮件之间的类似程度；

这个过程经过多次迭代计算，每一次计算的结果都是一次重新的归类划分，直到最后一次划分结果不再变化或者数量超过预先设定的迭代次数。

5.根据权利要求一所述的一种基于Spark与YARN的邮件内容分析方法，其特征在于，

所述的数据持久化与查询模块，用于根据经过邮件分类与关联分析模块迭代计算处理后的划分结果，对输入的邮件记录进行维度扩展，增加划分类别和主题列，保存到HBase列式存储中，并提供数据查询服务；

所述的数据持久化过程，是指将数据处理结果，保存到数据库或文件的过程，该处理结果包含了邮件的唯一标识；

所述的查询模块由API接口实现，查询保存了处理结果的数据库，然后返回。

6.根据权利要求一所述的一种基于Spark与YARN的邮件内容分析方法，其特征在于，所述的数据可视化模块，通过调用查询模块提供的API接口，以返回结果为输入，根据查询项目和结果数据结构来实现图形化。

7.根据权利要求一所述的一种基于Spark与YARN的邮件内容分析方法，其特征在于，

所述的数据处理模块中的原始的mail数据，经过处理后上传到HIVE，置于文件夹存放；原始的mail数据的格式是xml、html、txt、xml或html；内容包含图片、视频多媒体文件。

8.一种基于Spark与YARN的邮件内容分析方法,其特征在于，系统框架主要包括：SPARK实时数据分析框架、MAPREDUCE2应用框架、YARN框架、HBase模块、HDFS文件系统；

所述的HDFS文件系统，主要用于邮件数据、中间处理数据结果、最后处理数据结果存放；

所述的YARN框架主要用于分布式计算资源管理、调度；

所述的MAPREDUCE2应用框架，主要用于执行MAP或REDUCE批量数据记录操作逻辑；

所述的SPARK实时数据分析框架，主要用于邮件分析处理方法的主要承载者；

所述的HBase模块用于存储邮件原文件，以及最后的处理结果以提供查询功能的数据源支持。