[发明专利]一种大附件邮件的多线程并发处理方法及装置

说明书

本发明提供一种大附件邮件的多线程并发处理方法及装置，所述方法包括：将邮件信息传递到stmp‑filter进程；将邮件信息的头信息传输给Linux的消息队列；将邮件信息的头信息存储到Redis和第一阻塞队列中；File‑Process设置临界值，监控分配的内存资源的占用情况；将处理后的邮件信息的头信息及临时文件信息存储到第二阻塞队列中；从所述第二阻塞队列中获取邮件信息，TikaParser线程从第一阻塞队列中获取邮件的附件文件，由ParserEml线程和TikaParser线程分别进行解析，解析完成后，将解析得到的信息发送给策略匹配进程，并按预设策略处理解析过程中产生的临时文件。

技术领域

本发明涉及文件处理领域，尤其涉及一种大附件邮件的多线程并发处理方法及装置。

背景技术

为了防止数据泄密，企业发送邮件时会对邮件进行加解密操作。由邮件服务器解析外发邮件是否符合公司保密规则，解析邮件时，会涉及到对文件的读写操作。当单位时间内邮件的发送量较大，且邮件的附件较大时，容易形成阻塞。为了提高邮件解析的速度，会采取将解析时生成的临时文件放入内存的手段，但这样会占用大量内存。当邮件服务器内存不足时，系统的性能会显著降低。

因此，需要对邮件解析的方法进行改进。

发明内容

为解决上述技术问题，本发明提出了一种大附件邮件的多线程并发处理方法及装置，所述方法及装置，用以解决现有技术中邮件附件过大或邮件并发量过大时，造成邮件解析服务器内存资源耗尽导致崩溃的问题。

根据本发明的第一方面，提供一种大附件邮件的多线程并发处理方法，所述方法包括以下步骤：

步骤S1001：Postfix邮件服务器接收到邮件后，将邮件信息传递到stmp-filter进程；

步骤S1002：所述stmp-filter进程将邮件信息的头信息传输给Linux的消息队列，将邮件及其包含的附件文件转为base64编码文件并存放到虚拟磁盘上；

步骤S1003：File-Process进程的线程池执行ReceiverFromSmtp线程，多个ReceiverFromSmtp线程依次从所述Linux的消息队列中获取邮件信息的头信息，并将所述邮件信息的头信息存储到Redis和第一阻塞队列中，为防止多个ReceiverFromSmtp线程对Redis写入信息时有冲突，需要对Redis进行加锁操作；

步骤S1004：File-Process进程设置服务器资源的临界值；

步骤S1005：File-Process监控内存资源和虚拟磁盘占用情况；

步骤S1006：判断分配的内存资源是否达到临界值；若是，进入步骤S1007；若否，进入步骤S1008；

步骤S1007：ReceiverFromSmtp线程池中的线程暂停获取邮件信息；File-Process进程继续监听，监听一预设时长后，进入步骤S105；

步骤S1008：MsgProcess线程池中的多个MsgProcess线程从所述Redis和第一阻塞队列中获取所述邮件信息的头信息及临时文件信息，为防止多个MsgProcess线程对Redis操作有冲突，需要对Redis进行加锁操作，对所述邮件信息的头信息及临时文件信息进行处理，将处理后的邮件信息的头信息及临时文件信息存储到第二阻塞队列中；

步骤S1009：ParserEml线程池中的ParserEml线程从所述第二阻塞队列LinkedBlockingQueue中获取包括邮件主题、收件人、发件人和邮件头信息的邮件信息，TikaParser线程池中的TikaParser线程从所述第一阻塞队列LinkedBlockingQueue中获取邮件附件的相关信息，并由ParserEml线程和TikaParser线程分别进行解析，解析完成后，将解析得到的信息发送给策略匹配进程；