【正文】 數(shù)據(jù)庫技術領域的發(fā)展趨勢 1 泛數(shù)據(jù)研究2 國際數(shù)據(jù)庫研究界動態(tài)3 主流技術發(fā)展趨勢 信息集成 數(shù)據(jù)流管理 傳感器數(shù)據(jù)庫技術 XML 數(shù)據(jù)管理 網(wǎng)格數(shù)據(jù)管理 DBMS 的自適應管理 移動數(shù)據(jù)管理 微小型數(shù)據(jù)庫技術 數(shù)據(jù)庫用戶界面1 泛數(shù)據(jù)研究的時代數(shù)據(jù)庫技術從誕生到現(xiàn)在,在不到半個世紀的時間里,形成了堅實的理論基礎、成熟的商業(yè)產(chǎn)品和廣泛的應用領域,吸引了越來越多的研究者加入,人們提出了豐富多樣的數(shù)據(jù)模型(層次模型、網(wǎng)狀模型、關系模型、面向對象模型、半結構化模型等),同時也提出了眾多新的數(shù)據(jù)庫技術(XML 數(shù)據(jù)管理、數(shù)據(jù)流管理、Web 數(shù)據(jù)集成、數(shù)據(jù)挖掘等).回顧數(shù)據(jù)庫發(fā)展之初, Codd 博士(19232003)提出的關系模型充分考慮了企業(yè)業(yè)務數(shù)據(jù)的特點,從現(xiàn)實問題出發(fā),恐怕難以找到第2 個像關系模型這樣,概念如此簡單,但卻能帶來如此巨大市場價值的技術.關系模型在關系數(shù)據(jù)庫理論基本成熟后,各大學、研究機構和各大公司在關系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)的實現(xiàn)和產(chǎn)品開發(fā)中,數(shù)據(jù)庫的結構愈來愈復雜,又有愈來愈多的用戶共享數(shù)據(jù)庫的情況下,如何保障數(shù)據(jù)的完整性、安全性、并發(fā)性以及故障恢復的能力, Gray 在解決這些重大技術問題,使RDBMS 成熟并順利進入市場的過程中,解決上述問題的主要技術手段和方法是:把對數(shù)據(jù)庫的操作劃分為“事務”的基本單位,一個事務要么全做,要么全不做(即llornothing 原則)。用戶在對數(shù)據(jù)庫發(fā)出操作請求時,需要對有關的不同數(shù)據(jù)“加鎖”,防止不同用戶的操作之間互相干擾。在事務運行過程中,采用“日志”記錄事務的運行狀態(tài),以便發(fā)生故障時進行恢復。對數(shù)據(jù)庫的任何更新都采用“兩階段提交”“事務處理技術”. Codd 和Jim Gray 在關系模型和事務處理技術上的創(chuàng)造性思維和開拓性工作,使他們成為這一領域公認的權威,并于分別于1981 年和1998 年成為圖靈獎獲得者.在成熟的關系DBMS 產(chǎn)品行銷于世之后,數(shù)據(jù)庫的研究困惑于如下的問題:DBMS 本身的研究是不是已經(jīng)沒有問題了?新的處理要求在哪里?旗幟鮮明地提出這一思考的是VLDB2000 會議,會議的主題是“Broadeningthe Database Field”,會議的論文設置也截然分為兩類,即“core database technology”和“information systemsinfrastructures”,體現(xiàn)了在對傳統(tǒng)問題關注的同時, ,在Web 大背景下的各種數(shù)據(jù)管理問題成為人們關注的熱點,我們不妨把它籠統(tǒng)地稱為“泛數(shù)據(jù)”研究.所謂“泛數(shù)據(jù)” 時代的到來帶給人們的新問題.“泛數(shù)據(jù)”研究“泛”在兩個方面:Xdata: XML data (XML Databases), streaming data (Streaming Databases),…Xputing: grid puting (Grid Databases), sensor network (Sensor atabases), P2P puting (P2Pdatabases), ubiquitous/pervasive puting Ubiquitous/Pervasive Databases),…目前,“泛數(shù)據(jù)”研究的根本問題是它能否產(chǎn)生與關系模型和事務處理技術比肩的成果.“泛數(shù)據(jù)”深層次的問題何在?“泛數(shù)據(jù)”對現(xiàn)有DBMS 體系結構變革的需要在哪里?這一切需要我們深思熟慮,是研究數(shù)據(jù)庫所不能回避的.本文基于這一想法,結合國際相關會議的情況, 本文討論目前數(shù)據(jù)庫研究領域中最熱門的幾個研究方向的發(fā)展現(xiàn)狀、,觀點也可能存在偏頗之處,但我們相信分析和預測數(shù)據(jù)庫發(fā)展動態(tài)的工作,對促進中國數(shù)據(jù)庫技術的研究和應用水平的提高具有重要的意義.2 國際數(shù)據(jù)庫研究界動態(tài)每隔幾年,國際上一些資深的數(shù)據(jù)庫專家就會聚集一堂,探討數(shù)據(jù)庫的研究現(xiàn)狀、存在的問題和未來需要關注的新的技術焦點,其中包括:1989 年在Laguna Beach,Calif. [1] ,1990 年和1995 年在Palo Alto,Calif. [2,3] , “Lagunita”,1996 年在Cambridge,Mass. [4]和1998 年在Asilomar,Calif. [5]的研討會,2003 年的聚會在Lowell,Mass. [6]舉行,共有25 ,有著不同的研究興趣,學者們就數(shù)據(jù)庫研究的現(xiàn)狀和將來的走向展開了深入的討論,提出了一些重要的觀點.與會的學者集中討論了信息的存儲、組織、技術趨勢、,每個人都意識到Internet,Web,另一個巨大的信息源即將到來,.伴隨新的制約與機會,Internet 是目前主要的驅動力,特別是在支持“跨企業(yè)”,應用都是企業(yè)內(nèi)部的,大部分企業(yè)感興趣的是如何與供應商和客戶進行更密切的交流,.越來越重要的另一個應用領域是自然科學,特別是物理科學、生物科學、保健科學和工程領域,這些領域產(chǎn)生了大量復雜的數(shù)據(jù)集,它們也需要對數(shù)據(jù)分析器產(chǎn)生的數(shù)據(jù)管道進行管理,需要對有序數(shù)據(jù)進行存儲和查詢(如時間序列、圖像分析、網(wǎng)格計算和地理信息),需要世界范圍內(nèi)數(shù)據(jù)網(wǎng)格的集成.除了在信息管理領域我們遇到的這些挑戰(zhàn)之外,在傳統(tǒng)的DBMS 相關的問題上,諸如數(shù)據(jù)模型、訪問方法、查詢處理代數(shù)、并發(fā)控制、恢復、查詢語言和DBMS ,磁盤和RAM 容量的不斷變大,但是它們不像前者發(fā)展得那樣快,處理器cache 的規(guī)模和層次的提高,也要求DBMS 算法能夠適應cache .,在過去的幾十年里, 搜索引擎導致了信息檢索的商品化,并需要和傳統(tǒng)的數(shù)據(jù)庫查詢技術集成.許多人工智能領域的研究成果也和數(shù)據(jù)庫技術融合起來,這些新的技術使得我們可以處理語音、自然語言,進行不確定性推理和機器學習等.Lowell 報告[6]認為,我們注意到了許多新的應用,這些都要求一個和現(xiàn)今我們所擁有的完全不同的信息管理架構,并需重新考慮信息存儲、組織、管理和訪問等方面的問題.3 主流技術發(fā)展趨勢在這一部分中,我們從信息集成、數(shù)據(jù)流管理、傳感器數(shù)據(jù)庫技術、半結構化數(shù)據(jù)與XML 數(shù)據(jù)管理、網(wǎng)格數(shù)據(jù)管理、DBMS 自適應管理、移動數(shù)據(jù)管理、微小型數(shù)據(jù)庫、數(shù)據(jù)庫用戶界面等方面分別討論目前數(shù)據(jù)庫領域研究方向的發(fā)展現(xiàn)狀、面臨的問題和未來趨勢. 信息集成信息系統(tǒng)集成技術已經(jīng)歷了20 多年的發(fā)展過程,研究者已提出了很多信息集成的體系結構和實現(xiàn)方案, 的飛速發(fā)展,網(wǎng)絡迅速成為一種重要的信息傳播和交換的手段,尤其是在Web 上, 上的有用數(shù)據(jù)并加以綜合利用,即構建Web 信息集成系統(tǒng),成為一個引起廣泛關注的研究領域.信息集成系統(tǒng)的方法可以分為[7] :數(shù)據(jù)倉庫方法和Wrapper/Mediator 方法.在數(shù)據(jù)倉庫方法中,各數(shù)據(jù)源的數(shù)據(jù)按照需要的全局模式從各數(shù)據(jù)源抽取并轉換,數(shù)據(jù)源的數(shù)據(jù)抽取和轉化要復雜得多,數(shù)據(jù)倉庫的方法存在諸多不便.目前比較流行的建立信息集成系統(tǒng)的方法是Wrapper/Mediator 方法[8,9] .該方法并不將各數(shù)據(jù)源的數(shù)據(jù)集中存放,而是通過Wrapper/Mediator (mediatedschema) [10] .信息集成系統(tǒng)通過中介模式將各數(shù)據(jù)源的數(shù)據(jù)集成起來,而數(shù)據(jù)仍存儲在局部數(shù)據(jù)源中,通過各數(shù)據(jù)源的包裝器(wrapper),不必知道每個數(shù)據(jù)源的特點,中介器(mediator)將基于中介模式的查詢轉換為基于各局部數(shù)據(jù)源的模式查詢,它的查詢執(zhí)行引擎再通過各數(shù)據(jù)源的包裝器將結果抽取出來,由于各個數(shù)據(jù)源的包裝器是要分別建立的,因此,Web ,如何快速、高效地為Web 數(shù)據(jù)源建立包裝器成為人們研究的熱點[11~14] .不過,這種框架結構正受到來自3 個方面的挑戰(zhàn)[6] .第1 個挑戰(zhàn)是如何支持異構數(shù)據(jù)源之間的互操作性(interoperability).信息集成必須在多至數(shù)百萬的信息源上穿梭進行,這些數(shù)據(jù)源的數(shù)據(jù)模型、模式、,其中最早的報告針對這個問題做了廣泛的討論[1] .然而,(例如工資,一種以歐元計算,而另一種以美元計算),不同的語義解釋(也以工資為例,一種僅指檔案工資,而另一種是指包含了各種津貼的總收入),對于相同的事務還會有不同的名字(對同一個人,可能一種用的是筆名,而另一種用的是原名,例如魯迅和周樹人).,.(localasview),目前已有一些研究成果,(globalasview).第三個挑戰(zhàn)是當數(shù)據(jù)源的查詢能力受限時,如何處理查詢和進行優(yōu)化?例, 數(shù)據(jù)源可以被看作是提供書的信息的數(shù)據(jù)庫,但是,我們只能填寫Web ,所以這些數(shù)據(jù)必須留在源端,如何生成查詢計劃和優(yōu)化查詢的研究工作正在展開[15~17] .這里我們給出信息集成中一些需要進一步研究的問題.其一,一種數(shù)據(jù)庫應用需求正在顯現(xiàn),它要求支持共享分布的、基于站點(site),每個站點既是中間件,[9,10] .其二,更多的研究者正在注意如何利用清潔的數(shù)據(jù)(cleansing data)來處理數(shù)據(jù)源的異構性[6] .一個特殊的問題稱為“data linkage”,“中科院”和“中國科學院”,或者“中國北京”和“北京”.不同的表示可能源于排版錯誤、拼寫錯誤、 頁面上自動抽取無結構或者半結構化文檔時,這個問題變得特別尖銳.對多數(shù)據(jù)源的數(shù)據(jù)集成,.其三,XML ,正如前面提到的那樣,這些數(shù)據(jù)源能夠動態(tài)地來往,這一點也打破了傳統(tǒng)的信息集成范疇.從體系結構實現(xiàn)的角度出發(fā),信息集成技術經(jīng)歷了如下3 個發(fā)展階段[7] :單個的聯(lián)邦系統(tǒng)、基于組件的分布式集成系統(tǒng)和基于Web Ser vi ces 的迅速普及和廣泛應用對計算機技術的發(fā)展產(chǎn)生了深刻的影響,桌面應用正在向網(wǎng)絡應用轉移,從網(wǎng)上獲得的不僅是信息,還包括程序和交互式應用(即服務),操作界面將在瀏覽器層面上得到統(tǒng)一,兼容性由網(wǎng)絡標準技術實現(xiàn)(如SOAP,UDDI 和WSDL 等).在Web Ser vi ces的框架下,使用一組Web Ser vi ces 協(xié)議, Ser vi ce,然后使用WSDL ,集成端首先向注冊中心發(fā)送查找請求,收集并選擇合適的數(shù)據(jù)源,然后通過SOAP ,具有完好封裝、松散耦合、,基于Web Ser vi ces 的信息集成方案是構建Web 數(shù)據(jù)集成系統(tǒng)較為理想的體系結構. 數(shù)據(jù)流管理測量和監(jiān)控復雜的動態(tài)的現(xiàn)象,如遠程通信、Web 應用、金融事務、大氣情況等,產(chǎn)生了大量、系統(tǒng)、算法、,包括新的流操作、SQL 擴展、查詢優(yōu)化方法、操作調度(operator scheduling)技術等[6] ..Tabl e 1 Comparison of database and data stream表1 數(shù)據(jù)流與數(shù)據(jù)庫對比Data stream DatabaseModel Tuple sequence Tuple set/bagData duration Transient PersistentQuery RealTime, continuous queries OffLine, onetime queriesQuery evaluation One pass ArbitraryQuery answer Approximate ExactQuery plan Fixed Adap