[发明专利]实时提供信息查询的信息系统与方法

说明书

技术领域

本发明涉及大量数据技术领域，且特别涉及一种实时提供信息查询的 信息系统与方法。

背景技术

随着电子技术的进步，数据也持续朝向爆炸性扩展。同时，各种不同 的应用也需要实时查询的服务。在这样的情况下，传统的信息系统往往因 为硬盘等储存装置的访问速度限制或是多阶层信息架构的设计，无法完成 快速的查询服务。

如图1所示为一种现有的系统架构图。机台1031,1032,1033,1034, 1035,1036在不同的应用中可分别代表不同的设备。例如，在半导体制造 过程中，这些机台可代表化学气体沉积机台、曝光机台等设备。又例如， 在电信业应用中，这些机台可代表基地台、后端的机房设备等。这些设备 的特征为均会不断地产生数据串流，例如制造流程中感应侦测到的或人工 输入的各种数据，又例如手机用户拨打电话时所处的地理位置信息、电话 号码或上网的IP地址等等。这些数据串流的特色就是持续不断地产生数 据，这些数据在“量”上不但呈现爆炸性增长，而且在种类上除了以往的 结构化数据以外，更同时包含半结构化数据，例如XML、日志(log)、点击 流(clickstream)与RFID卷标等，以及非结构化数据，例如网页、Email、 多媒体、即时消息与二进制文件(binaryfile)等。

有些机台自己可以处理自己产生的数据串流，例如图1中的机台1034、 1035、1036；有些机台例如图1中的机台1031、1032、1033则是通过所联 机的计算机103等设备进行数据串流的处理或是储存。这些数据串流可通 过网络109传送到服务器105，进一步存放在媒介为硬盘的数据库或储存 系统107中。

目前有越来越多的网络应用，例如联机确认，或是工厂问题实时反应， 需要快速查询这些数据串流。举例来说，假如数据串流都是存放在媒介为 硬盘的数据库或储存系统107中，访问速度就会成为一个很麻烦的瓶颈。 又例如，在半导体的制造流程中，如果任何一个机台出现警示信息，这些 警示信息如果能被实时处理，甚至主动推送到数据查询服务器101进行对 应的处理，则能带来很大的帮助。但实际上，目前许多的信息系统都很难 做到实时的反应或查询。

如图2所示为一种信息系统架构，可用来处理机台产生的数据串流。 作为机台的设备211、213、215、217分别不断地产生串流数据231、233、 235、237，这些串流数据可单独为结构化、半结构化或非结构化数据，亦 可以是不同种类数据的集合。在不同的产业应用中，这些文件可以设定一 定时间的保存期限或是一定的更新规则。网络储存器25，例如网络附加储 存(Network-attachedStorage,NAS)或储存局域网络(StorageAreaNetwork, SAN)根据设定定期或不定期去主动或被动接收串流数据231、233、235、 237。通过一部服务器或由多部服务器所组成的一计算机丛集(cluster)27， 对串流数据231、233、235、237进行前处理，该前处理包含萃取(Extract)、 转置(Transform)与加载(Load)等，然后将结果存放在数据仓储(Data Warehouse)28。数据仓储28可以通过应用服务器29将数据主动提供给外 在的第三方应用服务器26或是客户端(未图示)，或是被动根据查询提供符 合条件的数据。另一种做法是，第三方应用服务器26直接存取数据仓储 28以取得所需数据。

上述做法涉及多次耗时的写入动作。例如，当设备211、213、215、 217产生串流数据231、233、235、237，这些串流数据231、233、235、 237需先个别储存在设备211、213、215、217中，然后写入网络储存器25， 最后这些串流数据231、233、235、237再进一步写入到资料仓储28。本 实施例所公开的关于数据写入的多层次架构设计，加上串流数据写入的媒 介主要为硬盘，造成外在的应用无法实时进行快速有效的查询，例如在一 秒或数秒内就能查询到最新的串流数据。

发明内容

鉴于上述现有技术的不足，本发明的目的为提出一种非以多层次存取 架构进行串流数据查询知系统与方法，以期达到实时查询的目的。