[发明专利]语义数据存储调度方法

说明书

本发明提供了一种语义数据存储调度方法，该方法包括：建立用于文本数据分析的Map/Reduce并行计算环境；文本挖掘主进程维护文档元数据，启动工作线程等待来自文本挖掘分进程的文本检索请求；如果检索请求的文件已经存在于云端缓存中，则工作线程将文件的元数据对象发送给分进程。本发明提出了一种语义数据存储调度方法，从进程管理和缓存管理角度改进了MAPRUDUCE的并行框架，更好地适应文本数据挖掘的需要；并且针对社交文本的不规范特点，利用语义向量对文本数据进行有效表示和分析，适用于各种规模的社交文本挖掘分析和计算。

技术领域

本发明涉及大数据挖掘，特别涉及一种语义数据存储调度方法。

背景技术

大数据尤其是社交网络数据蕴涵着巨大的商业价值和社会价值，有效地管理和利用这些数据、挖掘数据的价值对企业和个人将带来巨大的影响。另一方面，大数据带来新的发展机遇的同时，也带来很多技术挑战。传统的信息处理与计算技术已难以有效地应对大数据的处理。大规模社交网络数据的有效处理面临数据的存储、算法分析等多个层面上的主要技术困难。巨大的数据量使得传统的单机机器学习和数据挖掘算法都难以在可接受时间内完成计算，导致算法失效。以即时通信数据为例，由于实时更新性和变化性的特点，数据量的剧增会使自然语言处理及机器学习过程变得更加复杂，而当前的并行计算环境的总体架构并不适用于文本数据的高效并行处理，特别是进程管理和缓存管理上并未与文本挖掘算法所需要的存储和分布式计算架构相匹配；再者，文本的不规范增加了用户对信息理解和事件发现的困难程度，最终导致数据分布出现严重的不平衡。此外还存在中文词缺乏语义表示的问题，使得传统方法不能完全适用于对社交文本的分析和计算，因此难以实现信息的智能化、人机交互和自动问答。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种语义数据存储调度方法，包括：

建立用于文本数据分析的Map/Reduce并行计算环境；

文本挖掘主进程维护文档元数据，启动工作线程等待来自文本挖掘分进程的文本检索请求；

如果检索请求的文件已经存在于云端缓存中，则工作线程将文件的元数据对象发送给分进程。

优选地，所述主进程一旦启动运行，首先初始化一个散列表作为文档元数据缓存，所述散列表存储记录文档文件信息的key-value对。

优选地，所述每一个key-value对中，key值为文件名，value为一个元数据对象。

优选地，所述元数据对象中记录文件的大小、存储该文件数据块的各个分进程以及所有数据块在各个分进程管理的文档缓存中的位置。

优选地，分进程将接收到的对象存入本地缓存中，并且主进程记录每个文档元数据对象被哪些分进程缓存，以当该文件被从云端缓存中删除时，通知它们无效相应的文档元数据对象。

优选地，还包括，如果请求的文件还没被缓存，工作线程首先从云端缓存中申请足够的空间并生成文档元数据对象，然后通知负责缓存该文件数据块的各个分进程将相应数据块加载到各自本地文档缓存中，最后工作线程将元数据对象发送给请求进程并记录存储该元数据的分进程ID。

优选地，当从云端缓存中申请存储空间时，如果剩余空间不足，工作线程删除最久未访问的文件，删除文件的元数据的同时通知相应的分进程。

本发明相比现有技术，具有以下优点：

本发明提出了一种语义数据存储调度方法，从进程管理和缓存管理角度改进了MAPRUDUCE的并行框架，更好地适应文本数据挖掘的需要；并且针对社交文本的不规范特点，利用语义向量对文本数据进行有效表示和分析，适用于各种规模的社交文本挖掘分析和计算。

附图说明

图1是根据本发明实施例的语义数据存储调度方法的流程图。