【正文】 數(shù)據(jù)庫技術(shù)領(lǐng)域的發(fā)展趨勢 1 泛數(shù)據(jù)研究2 國際數(shù)據(jù)庫研究界動態(tài)3 主流技術(shù)發(fā)展趨勢 信息集成 數(shù)據(jù)流管理 傳感器數(shù)據(jù)庫技術(shù) XML 數(shù)據(jù)管理 網(wǎng)格數(shù)據(jù)管理 DBMS 的自適應(yīng)管理 移動數(shù)據(jù)管理 微小型數(shù)據(jù)庫技術(shù) 數(shù)據(jù)庫用戶界面1 泛數(shù)據(jù)研究的時代數(shù)據(jù)庫技術(shù)從誕生到現(xiàn)在,在不到半個世紀(jì)的時間里,形成了堅實的理論基礎(chǔ)、成熟的商業(yè)產(chǎn)品和廣泛的應(yīng)用領(lǐng)域,吸引了越來越多的研究者加入,人們提出了豐富多樣的數(shù)據(jù)模型(層次模型、網(wǎng)狀模型、關(guān)系模型、面向?qū)ο竽Ｐ?、半結(jié)構(gòu)化模型等),同時也提出了眾多新的數(shù)據(jù)庫技術(shù)(XML 數(shù)據(jù)管理、數(shù)據(jù)流管理、Web 數(shù)據(jù)集成、數(shù)據(jù)挖掘等).回顧數(shù)據(jù)庫發(fā)展之初, Codd 博士(19232003)提出的關(guān)系模型充分考慮了企業(yè)業(yè)務(wù)數(shù)據(jù)的特點,從現(xiàn)實問題出發(fā),恐怕難以找到第2 個像關(guān)系模型這樣,概念如此簡單,但卻能帶來如此巨大市場價值的技術(shù).關(guān)系模型在關(guān)系數(shù)據(jù)庫理論基本成熟后,各大學(xué)、研究機構(gòu)和各大公司在關(guān)系數(shù)據(jù)庫管理系統(tǒng)(RDBMS)的實現(xiàn)和產(chǎn)品開發(fā)中,數(shù)據(jù)庫的結(jié)構(gòu)愈來愈復(fù)雜,又有愈來愈多的用戶共享數(shù)據(jù)庫的情況下,如何保障數(shù)據(jù)的完整性、安全性、并發(fā)性以及故障恢復(fù)的能力, Gray 在解決這些重大技術(shù)問題,使RDBMS 成熟并順利進入市場的過程中,解決上述問題的主要技術(shù)手段和方法是:把對數(shù)據(jù)庫的操作劃分為“事務(wù)”的基本單位,一個事務(wù)要么全做,要么全不做(即llornothing 原則)。對數(shù)據(jù)庫的任何更新都采用“兩階段提交”“事務(wù)處理技術(shù)”. Codd 和Jim Gray 在關(guān)系模型和事務(wù)處理技術(shù)上的創(chuàng)造性思維和開拓性工作,使他們成為這一領(lǐng)域公認(rèn)的權(quán)威,并于分別于1981 年和1998 年成為圖靈獎獲得者.在成熟的關(guān)系DBMS 產(chǎn)品行銷于世之后,數(shù)據(jù)庫的研究困惑于如下的問題:DBMS 本身的研究是不是已經(jīng)沒有問題了?新的處理要求在哪里?旗幟鮮明地提出這一思考的是VLDB2000 會議,會議的主題是“Broadeningthe Database Field”,會議的論文設(shè)置也截然分為兩類,即“core database technology”和“information systemsinfrastructures”,體現(xiàn)了在對傳統(tǒng)問題關(guān)注的同時, ,在Web 大背景下的各種數(shù)據(jù)管理問題成為人們關(guān)注的熱點,我們不妨把它籠統(tǒng)地稱為“泛數(shù)據(jù)”研究.所謂“泛數(shù)據(jù)” 時代的到來帶給人們的新問題.“泛數(shù)據(jù)”研究“泛”在兩個方面:Xdata: XML data (XML Databases), streaming data (Streaming Databases),…Xputing: grid puting (Grid Databases), sensor network (Sensor atabases), P2P puting (P2Pdatabases), ubiquitous/pervasive puting Ubiquitous/Pervasive Databases),…目前,“泛數(shù)據(jù)”研究的根本問題是它能否產(chǎn)生與關(guān)系模型和事務(wù)處理技術(shù)比肩的成果.“泛數(shù)據(jù)”深層次的問題何在?“泛數(shù)據(jù)”對現(xiàn)有DBMS 體系結(jié)構(gòu)變革的需要在哪里?這一切需要我們深思熟慮,是研究數(shù)據(jù)庫所不能回避的.本文基于這一想法,結(jié)合國際相關(guān)會議的情況, 本文討論目前數(shù)據(jù)庫研究領(lǐng)域中最熱門的幾個研究方向的發(fā)展現(xiàn)狀、,觀點也可能存在偏頗之處,但我們相信分析和預(yù)測數(shù)據(jù)庫發(fā)展動態(tài)的工作,對促進中國數(shù)據(jù)庫技術(shù)的研究和應(yīng)用水平的提高具有重要的意義.2 國際數(shù)據(jù)庫研究界動態(tài)每隔幾年,國際上一些資深的數(shù)據(jù)庫專家就會聚集一堂,探討數(shù)據(jù)庫的研究現(xiàn)狀、存在的問題和未來需要關(guān)注的新的技術(shù)焦點,其中包括:1989 年在Laguna Beach,Calif. [1] ,1990 年和1995 年在Palo Alto,Calif. [2,3] , “Lagunita”,1996 年在Cambridge,Mass. [4]和1998 年在Asilomar,Calif. [5]的研討會,2003 年的聚會在Lowell,Mass. [6]舉行,共有25 ,有著不同的研究興趣,學(xué)者們就數(shù)據(jù)庫研究的現(xiàn)狀和將來的走向展開了深入的討論,提出了一些重要的觀點.與會的學(xué)者集中討論了信息的存儲、組織、技術(shù)趨勢、,每個人都意識到Internet,Web,另一個巨大的信息源即將到來,.伴隨新的制約與機會,Internet 是目前主要的驅(qū)動力,特別是在支持“跨企業(yè)”,應(yīng)用都是企業(yè)內(nèi)部的,大部分企業(yè)感興趣的是如何與供應(yīng)商和客戶進行更密切的交流,.越來越重要的另一個應(yīng)用領(lǐng)域是自然科學(xué),特別是物理科學(xué)、生物科學(xué)、保健科學(xué)和工程領(lǐng)域,這些領(lǐng)域產(chǎn)生了大量復(fù)雜的數(shù)據(jù)集,它們也需要對數(shù)據(jù)分析器產(chǎn)生的數(shù)據(jù)管道進行管理,需要對有序數(shù)據(jù)進行存儲和查詢(如時間序列、圖像分析、網(wǎng)格計算和地理信息),需要世界范圍內(nèi)數(shù)據(jù)網(wǎng)格的集成.除了在信息管理領(lǐng)域我們遇到的這些挑戰(zhàn)之外,在傳統(tǒng)的DBMS 相關(guān)的問題上,諸如數(shù)據(jù)模型、訪問方法、查詢處理代數(shù)、并發(fā)控制、恢復(fù)、查詢語言和DBMS ,磁盤和RAM 容量的不斷變大,但是它們不像前者發(fā)展得那樣快,處理器cache 的規(guī)模和層次的提高,也要求DBMS 算法能夠適應(yīng)cache .,在過去的幾十年里, 搜索引擎導(dǎo)致了信息檢索的商品化,并需要和傳統(tǒng)的數(shù)據(jù)庫查詢技術(shù)集成.許多人工智能領(lǐng)域的研究成果也和數(shù)據(jù)庫技術(shù)融合起來,這些新的技術(shù)使得我們可以處理語音、自然語言,進行不確定性推理和機器學(xué)習(xí)等.Lowell 報告[6]認(rèn)為,我們注意到了許多新的應(yīng)用,這些都要求一個和現(xiàn)今我們所擁有的完全不同的信息管理架構(gòu),并需重新考慮信息存儲、組織、管理和訪問等方面的問題.3 主流技術(shù)發(fā)展趨勢在這一部分中,我們從信息集成、數(shù)據(jù)流管理、傳感器數(shù)據(jù)庫技術(shù)、半結(jié)構(gòu)化數(shù)據(jù)與XML 數(shù)據(jù)管理、網(wǎng)格數(shù)據(jù)管理、DBMS 自適應(yīng)管理、移動數(shù)據(jù)管理、微小型數(shù)據(jù)庫、數(shù)據(jù)庫用戶界面等方面分別討論目前數(shù)據(jù)庫領(lǐng)域研究方向的發(fā)展現(xiàn)狀、面臨的問題和未來趨勢. 信息集成信息系統(tǒng)集成技術(shù)已經(jīng)歷了20 多年的發(fā)展過程,研究者已提出了很多信息集成的體系結(jié)構(gòu)和實現(xiàn)方案, 的飛速發(fā)展,網(wǎng)絡(luò)迅速成為一種重要的信息傳播和交換的手段,尤其是在Web 上, 上的有用數(shù)據(jù)并加以綜合利用,即構(gòu)建Web 信息集成系統(tǒng),成為一個引起廣泛關(guān)注的研究領(lǐng)域.信息集成系統(tǒng)的方法可以分為[7] :數(shù)據(jù)倉庫方法和Wrapper/Mediator 方法.在數(shù)據(jù)倉庫方法中,各數(shù)據(jù)源的數(shù)據(jù)按照需要的全局模式從各數(shù)據(jù)源抽取并轉(zhuǎn)換,數(shù)據(jù)源的數(shù)據(jù)抽取和轉(zhuǎn)化要復(fù)雜得多,數(shù)據(jù)倉庫的方法存在諸多不便.目前比較流行的建立信息集成系統(tǒng)的方法是Wrapper/Mediator 方法[8,9] .該方法并不將各數(shù)據(jù)源的數(shù)據(jù)集中存放,而是通過Wrapper/Mediator (mediatedschema) [10] .信息集成系統(tǒng)通過中介模式將各數(shù)據(jù)源的數(shù)據(jù)集成起來,而數(shù)據(jù)仍存儲在局部數(shù)據(jù)源中,通過各數(shù)據(jù)源的包裝器(wrapper),不必知道每個數(shù)據(jù)源的特點,中介器(mediator)將基于中介模式的查詢轉(zhuǎn)換為基于各局部數(shù)據(jù)源的模式查詢,它的查詢執(zhí)行引擎再通過各數(shù)據(jù)源的包裝器將結(jié)果抽取出來,由于各個數(shù)據(jù)源的包裝器是要分別建立的,因此,Web ,如何快速、高效地為Web 數(shù)據(jù)源建立包裝器成為人們研究的熱點[11~14] .不過,這種框架結(jié)構(gòu)正受到來自3 個方面的挑戰(zhàn)[6] .第1 個挑戰(zhàn)是如何支持異構(gòu)數(shù)據(jù)源之間的互操作性(interoperability).信息集成必須在多至數(shù)百萬的信息源上穿梭進行,這些數(shù)據(jù)源的數(shù)據(jù)模型、模式、,其中最早的報告針對這個問題做了廣泛的討論[1] .然而,(例如工資,一種以歐元計算,而另一種以美元計算),不同的語義解釋(也以工資為例,一種僅指檔案工資,而另一種是指包含了各種津貼的總收入),對于相同的事務(wù)還會有不同的名字(對同一個人,可能一種用的是筆名,而另一種用的是原名,例如魯迅和周樹人).,.(localasview),目前已有一些研究成果,(globalasview).第三個挑戰(zhàn)是當(dāng)數(shù)據(jù)源的查詢能力受限時,如何處理查詢和進行優(yōu)化?例, 數(shù)據(jù)源可以被看作是提供書的信息的數(shù)據(jù)庫,但是,我們只能填寫Web ,所以這些數(shù)據(jù)必須留在源端,如何生成查詢計劃和優(yōu)化查詢的研究工作正在展開[15~17] .這里我們給出信息集成中一些需要進一步研究的問題.其一,一種數(shù)據(jù)庫應(yīng)用需求正在顯現(xiàn),它要求支持共享分布的、基于站點(site),每個站點既是中間件,[9,10] .其二,更多的研究者正在注意如何利用清潔的數(shù)據(jù)(cleansing data)來處理數(shù)據(jù)源的異構(gòu)性[6] .一個特殊的問題稱為“data linkage”,“中科院”和“中國科學(xué)院”,或者“中國北京”和“北京”.不同的表示可能源于排版錯誤、拼寫錯誤、 頁面上自動抽取無結(jié)構(gòu)或者半結(jié)構(gòu)化文檔時,這個問題變得特別尖銳.對多數(shù)據(jù)源的數(shù)據(jù)集成,.其三,XML ,正如前面提到的那樣,這些數(shù)據(jù)源能夠動態(tài)地來往,這一點也打破了傳統(tǒng)的信息集成范疇.從體系結(jié)構(gòu)實現(xiàn)的角度出發(fā),信息集成技術(shù)經(jīng)歷了如下3 個發(fā)展階段[7] :單個的聯(lián)邦系統(tǒng)、基于組件的分布式集成系統(tǒng)和基于Web Ser vi ces 的迅速普及和廣泛應(yīng)用對計算機技術(shù)的發(fā)展產(chǎn)生了深刻的影響,桌面應(yīng)用正在向網(wǎng)絡(luò)應(yīng)用轉(zhuǎn)移,從網(wǎng)上獲得的不僅是信息,還包括程序和交互式應(yīng)用(即服務(wù)),操作界面將在瀏覽器層面上得到統(tǒng)一,兼容性由網(wǎng)絡(luò)標(biāo)準(zhǔn)技術(shù)實現(xiàn)(如SOAP,UDDI 和WSDL 等).在Web Ser vi ces的框架下,使用一組Web Ser vi ces 協(xié)議, Ser vi ce,然后使用WSDL ,集成端首先向注冊中心發(fā)送查找請求,收集并選擇合適的數(shù)據(jù)源,然后通過SOAP ,具有完好封裝、松散耦合、,基于Web Ser vi ces 的信息集成方案是構(gòu)建Web 數(shù)據(jù)集成系統(tǒng)較為理想的體系結(jié)構(gòu). 數(shù)據(jù)流管理測量和監(jiān)控復(fù)雜的動態(tài)的現(xiàn)象,如遠(yuǎn)程通信、Web 應(yīng)用、金融事務(wù)、大氣情況等,產(chǎn)生了大量、系統(tǒng)、算法、,包括新的流操作、SQL 擴展、查詢優(yōu)化方法、操作調(diào)度(operator scheduling)技術(shù)等[6] ..Tabl e 1 Comparison of database and data stream表1 數(shù)據(jù)流與數(shù)據(jù)庫對比Data stream DatabaseModel Tuple sequence Tuple set/bagData duration Transient PersistentQuery RealTime, continuous queries OffLine, onetime queriesQuery evaluation One pass ArbitraryQuery answer Approximate ExactQuery plan Fixed Adaptive,在數(shù)據(jù)庫中,數(shù)據(jù)是穩(wěn)定的,持續(xù)的,:數(shù)據(jù)是動態(tài)的,支持復(fù)雜的實時查詢需求.,數(shù)據(jù)流環(huán)境中的選擇、投影, ,、,不但要處理現(xiàn)在的數(shù)據(jù),若在有限的空間不能支持?jǐn)?shù)據(jù)流的精確