[发明专利]一种分散式大数据管理与检索的方法

说明书

本发明涉及一种分散式大数据管理与检索的方法，应用程序服务器处理北斗空间数据，处理后的数据由管理服务器根据配置分散存储到文件服务器，并记录存放的位置，Web服务器为外部网络访问提供服务，把外部访问请求发给应用程序服务器，应用程序服务器通过管理服务器获取分散的文件数据，对这些数据根据访问请求处理后返回给Web服务器；所述数据分为两部分，一部分是基础数据，另一部分是业务数据；系统运行后，系统将数据读入内存中，利用内存的缓冲区直接操作数据文件。本发明能够准确、直观的渔船的时空分布统计查询。

技术领域

本发明涉及大数据管理技术领域，特别是涉及一种分散式大数据管理与检索的方法，尤其是大量北斗船位时空数据的分散式存储管理，以及快速查询、统计。

背景技术

海量业务数据应用系统在运行过程中，需要查询大量的相关数据，因此业务数据的存放与查询成为应用系统的重要组成部分。由于数据量比较庞大，为了维护和管理便利，应用系统的业务数据通常被存放在数据库中，应用系统在运行时通过使用SQL语句访问数据库的方式查询。这种方式虽然实现简便，但是由于数据库本身的性能以及网络数据传输的消耗等因素，会影响应用处理查询数据的速度，从而降低应用系统的性能表现，因此通过直接访问数据库的方式比较适合于数据量不是很大、对应用系统的处理速度要求不高的系统。并且DB2、0racle、SQL Server等数据库系统会绕开文件系统，自己管理磁盘块，提高了数据库的性能，但数据库的管理也变得比较复杂了，这些商业数据库成本都较高。

发明内容

本发明所要解决的技术问题是提供一种分散式大数据管理与检索的方法，能够准确、直观的渔船的时空分布统计查询。

本发明解决其技术问题所采用的技术方案是：提供一种分散式大数据管理与检索的方法，应用程序服务器处理北斗空间数据，处理后的数据由管理服务器根据配置分散存储到文件服务器，并记录存放的位置，Web服务器为外部网络访问提供服务，把外部访问请求发给应用程序服务器，应用程序服务器通过管理服务器获取分散的文件数据，对这些数据根据访问请求处理后返回给Web服务器；所述数据分为两部分，一部分是基础数据，另一部分是业务数据；系统运行后，系统将数据读入内存中，利用内存的缓冲区直接操作数据文件。

所述基础数据包括海域数据、区划数据和渔船数据；所述业务数据包括渔船小时分布、渔船天分布和渔船轨迹数据。

所述区划数据与渔船数据通过区划编号关联；所述渔船轨迹数据通过渔船编号与渔船数据相关联；所述渔船小时分布表通过小渔区编号与海域数据关联；所述渔船天分布表通过小渔区编号与海域数据关联。

所述海域数据的内存结构所表达的海域层次关系为海区、渔场、渔区、小渔区由上向下成包含的层次关系。

所述区划数据的内存结构所表达的区域层次关系为省级行政区划、地区级行政区划、县级行政区划由上向下成包含的层次关系。

所述渔船数据的内存结构为省级行政区划编号、地区级行政区划编号同区划数据的内存结构，每个县级行政区划中存储起止的渔船编号，每个渔船编号中存储渔船基本信息。

通过区划数据的内存结构和海域数据的内存结构，查询分散的北斗船位空间分布数据文件，统计某段时间，某区划渔船去各海域作业的数量或统计某段时间，某海域渔船来源于各区划的数量。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明把现有技术中存储在数据库中的数据存储在由文件系统管理的分散的数据文件中，其提高了数据读取效率，增加了数据管理灵活性，减少了商业数据库软件的成本。本发明采用一种分散式数据管理，用内存表层次模型来解决数据快速统计查询的问题。内存的速度是除了CPU CACHE外最快的存储设备，内存速度可达6G/S以上，与硬盘速度相差30倍以上。分散式存储还支持自定义的socket协议，构建分布式系统，遇到高并发，高流量的任务时可以进行拓展提高数据共享效率。