[发明专利]基于MongoDB的答题数据统计方法及装置、存储介质

说明书

本发明实施例公开一种基于MongoDB的答题数据统计方法及装置、存储介质，其中方法包括如下步骤：将终端应用中的原始用户答题数据分批从MongoDB同步至数据仓库Hive的数据表中，在数据仓库Hive中统计原始用户答题数据对应的答题正确率，将答题正确率存入结果表中，将Hive中的结果表中的数据写入Mysql中，以便从Mysql中查询结果表中的数据。采用本发明，在适应大数据增长的前提下，可以提高答题正确率统计的效率，通过将统计结果写入Mysql中可以有效地提高统计结果的查询性能。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于MongoDB的答题数据统计方法及装置、存储介质。

背景技术

在各种模拟或真实答题考试的终端应用中均涉及答题正确率的统计以及答题统计结果的查询，例如在驾考终端应用中通常考驾照答题信息存储在mysql数据库中，当数据库答题记录表里数据量不多时，可以直接在上面统计计算每道题的答题正确率。但随着业务的增长，记录达到数千万以上，每次统计就会变得异常缓慢，效率很差。

发明内容

本发明实施例提供一种基于MongoDB的答题数据统计方法及装置、存储介质，可以在适应大数据增长的前提下，提高答题正确率统计的效率和统计结果的查询性能。

本发明实施例第一方面提供了一种基于MongoDB的答题数据统计方法，可包括：

将终端应用中的原始用户答题数据分批从MongoDB同步至数据仓库Hive的数据表中；

在数据仓库Hive中统计原始用户答题数据对应的答题正确率，将答题正确率存入结果表中；

将Hive中的结果表中的数据写入Mysql中，以便从Mysql中查询结果表中的数据。

进一步的，上述方法还包括：

在数据仓库Hive中创建数据表。

进一步的，将终端应用中的原始用户答题数据分批从MongoDB同步至数据仓库Hive的数据表中，包括：

基于同步周期从MongoDB中存储的终端应用中的原始用户答题数据中选取相关的答题信息数据；

对答题信息数据进行拼接、压缩后上传至数据仓库Hive的数据表中。

进一步的，对答题信息数据进行拼接、压缩后上传至数据仓库Hive的数据表中，包括：

将答题信息数据按照hdfs数据文件的格式拼接，并将拼接后的数据写入数据文件中进行压缩；

调用WebHDFS REST API将压缩后的数据文件上传至数据仓库Hive的数据表中。

进一步的，上述方法还包括：

根据输入的调用参数，从Mysql中返回相匹配的查询结果。

本发明实施例第二方面提供了一种基于MongoDB的答题数据统计装置，可包括：

数据同步模块，用于将终端应用中的原始用户答题数据分批从MongoDB同步至数据仓库Hive的数据表中；

数据统计模块，用于在数据仓库Hive中统计原始用户答题数据对应的答题正确率，将答题正确率存入结果表中；

数据写入模块，用于将Hive中的结果表中的数据写入Mysql中，以便从Mysql中查询结果表中的数据。

进一步的，上述装置还包括：

数据表创建模块，用于在数据仓库Hive中创建数据表。

进一步的，数据同步模块包括：