[发明专利]基于Map‑Reduce的大数据增量真值发现算法

摘要

本发明公开了基于Map‑Reduce的大数据增量真值发现算法，其特征在于：包括预处理模块，全局数据处理模块，分割过程模块，描述更新过程口快，值更新过程模块和结果集更新模块；数据输入预处理模块经过全局数据处理模块，分割过程模块，描述更新过程口快和值更新过程模块，值更新过程模块将ResultSet结果集发送至结果集更新模块，并将ResultSet结果集反馈给全局处理模块；上述每一个模块内部的记录运算并不需要其他模块参加，每个模块内部均利用Map‑Reduce并行执行；Map‑Reduce基于真值算法实现。本发明优点在于：大规模数据拆分成若干数据块，每个数据块可以独立计算，实现并行快速处理大数据，提高了系统的性能和可扩展。

主权项

基于Map‑Reduce的大数据增量真值发现算法，其特征在于：包括预处理模块，全局数据处理模块，分割过程模块，描述更新过程口快，值更新过程模块和结果集更新模块；其中，数据输入预处理模块经过全局数据处理模块，分割过程模块，描述更新过程口快和值更新过程模块，值更新过程模块将ResultSet结果集发送至结果集更新模块，并将ResultSet结果集反馈给全局处理模块；其中，上述每一个模块内部的记录运算并不需要其他模块参加，每个模块内部均利用Map‑Reduce并行执行；其中，上述Map‑Reduce基于真值算法实现。