[发明专利]基于云计算平台的海量数据处理方法

摘要

本发明涉及互联网信息处理技术领域，特别涉及基于云计算平台的海量数据处理方法，通过设置字段等过滤条件，对原始数据中每篇文档中的关键信息单元进行提取，并形成相应的数据记录，并将各个数据记录存储存储于数据库中，在此基础上，根据不同数据记录中所包含的相同信息单元，应用云计算平台下的大数据处理框架抽象出信息单元之间的关联关系。本发明可以在海量互联网信息中，根据需要分析出海量目标信息背后隐含的关联信息和对应关联路径并将分析结果通过查询端口提供给用户，极大的节省了用户进行相关资料整理分析的时间和人力成本。为目标背景分析，市场推广，市场细分，风险预测和风险防控等提供了有效技术支撑。

主权项

基于云计算平台的海量数据处理方法，其特征在于，包含以下实现过程：(1)从原始数据中的每条基础数据中，根据设置的字段提取出对应的信息，形成相应的数据记录；(2)在一条数据记录中包含第一信息和第二信息，其中第二信息为第一信息的一度关联信息；在第二数据记录中包含第二信息和第三信息，其中所述第三信息为所述第二信息的一度关联信息；通过云计算平台下的分布式处理框架将所述第三信息抽象成所述第一信息的二度关联信息；并且抽象出从第一信息经过第二信息到第三信息的关联路径；(3)如在第三数据记录中包含第四信息和第三信息，其中第四信息为第三信息的一度关联信息，通过云计算平台下的分布式处理框架将第四信息扩展为第一信息的二度关联信息；并且抽象出从第一信息经过第二信息到第三信息到第四信息的关联路径；依次类推，抽象出以第一信息为起点的N度关联信息以及对应的关联路径，其中N＞1。