【文章內(nèi)容簡介】 基體配對過程。“光子運(yùn)算具有巨大的潛力，能夠做常規(guī)計算無法辦到的事?！钡聡_(dá)姆施塔特大學(xué)的科爾內(nèi)利婭登茨博士長期致力于光計算研究。她表示，采用光學(xué)技術(shù)不但可以極大地提升計算機(jī)的運(yùn)算速度，而且可以讓計算機(jī)系統(tǒng)模擬人腦的思維活動，并且比人腦的處理速度快上數(shù)千倍，從而實(shí)現(xiàn)真正的人工智能?？茖W(xué)家的預(yù)測不是沒有依據(jù)的。到2015年，硅芯片的運(yùn)算速度和微型化發(fā)展都將止步不前。而與此同時，網(wǎng)絡(luò)和其他行業(yè)發(fā)展帶來的海量數(shù)據(jù)運(yùn)算需要和更快的傳輸需求，將迫使人們不得不尋求革命性的變革。(3)網(wǎng)格技術(shù)網(wǎng)格計算因?yàn)樵诮Y(jié)構(gòu)上酷似電力網(wǎng)絡(luò)而得名。在九十年代中期，網(wǎng)格作為一種共享計算的方法被正式提出，并首先在科研領(lǐng)域應(yīng)用。后來，為了降低成本，很多企業(yè)也打算利用閑置的資源，網(wǎng)格開始逐步進(jìn)入商業(yè)市場，并由此為許多產(chǎn)業(yè)帶來了新的機(jī)遇。網(wǎng)格技術(shù)是一種趨勢，這是毋庸置疑的。就像計算機(jī)最初是大型主機(jī)，發(fā)展到更加通用的小型機(jī)，現(xiàn)在則又有了更多的選擇。這其中有成本的原因，有硬件技術(shù)的發(fā)展，也說明大家都在期待一個更加開放的平臺。網(wǎng)格技術(shù)正是這種趨勢發(fā)展的一個必然。盡管網(wǎng)格的發(fā)展還面臨很大的困難，有業(yè)內(nèi)人士說，“網(wǎng)格的處境就好像10年前的Internet和3年前的Linux一樣，正在從技術(shù)計算進(jìn)入商業(yè)計算?！钡?，曾經(jīng)價格高昂的網(wǎng)格計算已經(jīng)進(jìn)入各個組織機(jī)構(gòu)及跨國公司，廣泛應(yīng)用到金融和工程仿真，醫(yī)學(xué)研究和石油勘探領(lǐng)域，發(fā)揮著巨大的作用：汽車制造商們正實(shí)施更多的模擬程序以使汽車更安全；娛樂公司更細(xì)致地描繪數(shù)字人像以求逼真的效果……對企業(yè)來說，網(wǎng)格無疑是極具價值的工具，未來幾年，將會有更多的網(wǎng)格進(jìn)入市場。為了在未來的發(fā)展潮流中占據(jù)有利的戰(zhàn)略地位，世界各國都紛紛加緊了網(wǎng)格研究的步伐。 一些發(fā)達(dá)國家和跨國公司已為此投下了巨資。在具體實(shí)施中，IBM全球服務(wù)部和其業(yè)務(wù)合作伙伴一起，共同提供各種與網(wǎng)格有關(guān)的服務(wù)，包括一個網(wǎng)格創(chuàng)新工作室(用于幫助企業(yè)在其業(yè)務(wù)中實(shí)施網(wǎng)格)以及專業(yè)化的行業(yè)專用課程。在產(chǎn)品方面，IBM eServer產(chǎn)品線也形成了一個可以用來設(shè)計和開發(fā)網(wǎng)格解決方案、甚至管理整個網(wǎng)格的堅實(shí)平臺；其 DB2產(chǎn)品和工具也支持網(wǎng)格計算解決方案，使得能快速、方便地建設(shè)復(fù)雜的數(shù)據(jù)基礎(chǔ)設(shè)施。(4)數(shù)據(jù)倉庫、聯(lián)機(jī)系統(tǒng)的發(fā)展根據(jù)長久以來的經(jīng)驗(yàn)，計算機(jī)的軟硬件發(fā)展一直是互相促進(jìn)、互為動力的。以上所述的未來高性能計算機(jī)、Internet網(wǎng)格技術(shù)等等已經(jīng)為我們勾勒出了一幅美好的畫面。更強(qiáng)大的計算工作站、驚人的信息傳輸速度、更優(yōu)化的網(wǎng)絡(luò)協(xié)調(diào)機(jī)制，這些無疑都給未來軟件業(yè)的發(fā)展帶來了更廣闊的施展空間。就如同現(xiàn)在的PC機(jī)使用的內(nèi)存，比10年前硬盤的存儲容量還大一樣。許許多多現(xiàn)在認(rèn)為不可能實(shí)現(xiàn)或相當(dāng)復(fù)雜的工作，對那時的計算機(jī)系統(tǒng)來說不過是小兒科而以。到那時對一個包含5千萬條記錄的DW作一次完整分析，也僅僅需要幾秒鐘的時間。所以我們有理由相信在新一代的應(yīng)用系統(tǒng)中，數(shù)據(jù)倉庫將在一開始便被納入系統(tǒng)設(shè)計的考慮，聯(lián)機(jī)分析會應(yīng)用于普遍的事務(wù)處理系統(tǒng)之中。在數(shù)據(jù)管理上，聯(lián)機(jī)事務(wù)處理和數(shù)據(jù)倉庫在應(yīng)用中相對獨(dú)立，使聯(lián)機(jī)事務(wù)處理系統(tǒng)本身更加簡潔高效，同時分析統(tǒng)計也更為便利。面向行業(yè)的數(shù)理統(tǒng)計學(xué)向更為普遍的應(yīng)用發(fā)展，并集成到應(yīng)用系統(tǒng)的數(shù)據(jù)倉庫解決方案中。它們將立足于數(shù)據(jù)倉庫提供的豐富信息，更好地為業(yè)務(wù)決策服務(wù)。企業(yè)建立數(shù)據(jù)倉庫是為了填補(bǔ)現(xiàn)有數(shù)據(jù)存儲形式已經(jīng)不能滿足信息分析的需要。數(shù)據(jù)倉庫理論中的一個核心理念就是：事務(wù)型數(shù)據(jù)和決策支持型數(shù)據(jù)的處理性能不同。企業(yè)在它們的事務(wù)操作收集數(shù)據(jù)。在企業(yè)運(yùn)作過程中：隨著定單、銷售記錄的進(jìn)行，這些事務(wù)型數(shù)據(jù)也連續(xù)的產(chǎn)生。為了引入數(shù)據(jù)，我們必須優(yōu)化事務(wù)型數(shù)據(jù)庫。處理決策支持型數(shù)據(jù)時，一些問題經(jīng)常會被提出：哪類客戶會購買哪類產(chǎn)品？促銷后銷售額會變化多少？等，事務(wù)型數(shù)據(jù)庫可以為這些問題作出解答，但是它所給出的答案往往并不能讓人十分滿意。在運(yùn)用有限的計算機(jī)資源時常常存在著競爭。在增加新信息的時候我們需要事務(wù)型數(shù)據(jù)庫是空閑的。而在解答一系列具體的有關(guān)信息分析的問題的時候，系統(tǒng)處理新數(shù)據(jù)的有效性又會被大大降低。另一個問題就在于事務(wù)型數(shù)據(jù)總是在動態(tài)的變化之中的。決策支持型處理需要相對穩(wěn)定的數(shù)據(jù)，從而問題都能得到一致連續(xù)的解答。 　　數(shù)據(jù)倉庫的解決方法包括：將決策支持型數(shù)據(jù)處理從事務(wù)型數(shù)據(jù)處理中分離出來。數(shù)據(jù)按照一定的周期（通常在每晚或者每周末），從事務(wù)型數(shù)據(jù)庫中導(dǎo)入決策支持型數(shù)據(jù)庫——既“數(shù)據(jù)倉庫”。數(shù)據(jù)倉庫是按回答企業(yè)某方面的問題來分“主題”組織數(shù)據(jù)的，這是最有效的數(shù)據(jù)組織方式。第二章 數(shù)據(jù)倉庫需求分析 需求分析原因需求分析的成敗直接影響到數(shù)據(jù)倉庫的成敗實(shí)施。對于一個嚴(yán)格完整的數(shù)據(jù)倉庫項(xiàng)目來說，需求分析應(yīng)該屬于數(shù)據(jù)倉庫項(xiàng)目的第二個過程，第一階段屬于數(shù)據(jù)倉庫項(xiàng)目定義階段，對項(xiàng)目范圍、項(xiàng)目評估、可行性研究分析和投資回報等相關(guān)進(jìn)行定義，也是一個不容忽視的階段。首先數(shù)據(jù)倉庫失敗的典型表現(xiàn)形式： 圖21 數(shù)據(jù)倉庫失敗圖示（1）項(xiàng)目超過預(yù)算（2）沒有在規(guī)定的時間內(nèi)完成（3）沒有實(shí)現(xiàn)要求的功能（4）用戶不滿意（5）系統(tǒng)性能不滿足要求 需求分析階段在進(jìn)入需求分析的初級階段時必須要先確立數(shù)據(jù)倉庫項(xiàng)目組人員（其中包括公司接口規(guī)范人員、接口人員、數(shù)據(jù)開發(fā)人員、ETL調(diào)度人員、稽核人員、頁面展現(xiàn)人員等），對局方聯(lián)通進(jìn)行接洽商討等相關(guān)工作。 需求分析成員確立（1） 接口規(guī)范人員：用來確定當(dāng)前經(jīng)分能否支撐局方提出的需求，經(jīng)過商討，判定當(dāng)前擁有的接口是否滿足需要，或是重新確定新的接口，來支撐項(xiàng)目的實(shí)施。如圖，例如對聯(lián)通融合業(yè)務(wù)進(jìn)行商討，判斷接口是否可以實(shí)施。圖22 接口規(guī)范制定流程（2） 接口人員：負(fù)責(zé)承接省分上傳的數(shù)據(jù)，進(jìn)行初步的稽核，確認(rèn)是否需要遲傳、通報等，并通過ETL調(diào)度，調(diào)起節(jié)點(diǎn)。判斷ETL能否成功調(diào)起，所承受的負(fù)載最大值等。圖23 接口入庫流程（3）數(shù)據(jù)庫開發(fā)人員：進(jìn)行項(xiàng)目的開發(fā)和實(shí)施，通過與局方商議，根據(jù)需求預(yù)計項(xiàng)目實(shí)施周期。通過Powerdesigner、PL/SQL等工具，進(jìn)行設(shè)計開發(fā)。（4）ETL調(diào)度人員：在開發(fā)人員腳本成功開發(fā)后，由ETL統(tǒng)一并行調(diào)度，保證及時觸發(fā)節(jié)點(diǎn)，并實(shí)時監(jiān)控。圖24 ETL調(diào)度實(shí)例（5）稽核人員：實(shí)時的對數(shù)據(jù)進(jìn)行詳細(xì)的稽核校驗(yàn)，確保數(shù)據(jù)無誤，能夠及時準(zhǔn)確的上傳至頁面。尤其是對重要字段進(jìn)行反復(fù)校驗(yàn)，及時通過郵件反饋。（6）頁面展現(xiàn)人員：當(dāng)稽核人員確定數(shù)據(jù)無誤時，由頁面展現(xiàn)人員進(jìn)行頁面展現(xiàn)，供局方人員使用，確保數(shù)據(jù)的實(shí)時準(zhǔn)確。有些情況下還會有項(xiàng)目協(xié)調(diào)和會議記錄等人員參加。 需求會議在做需求分析之前，一般需要對局方進(jìn)行接口的確定，以保證總部和省分以統(tǒng)一的接口進(jìn)行上傳和接收，并通過接口規(guī)范來得到雙方的確認(rèn)，會議的目的就是公司與局方在各個方面達(dá)成一致，啟發(fā)局方提出更貼近數(shù)據(jù)倉庫的需求，具體想要得到哪些數(shù)據(jù)，渴望得到哪些結(jié)果。需求會議一方面是為了消除局方在進(jìn)行需求確認(rèn)時的數(shù)據(jù)倉庫的盲區(qū)，更重要的一方面是讓局方知道建設(shè)數(shù)據(jù)倉庫開發(fā)的過程和困難，還有一方面就是能夠得到局方配合來完成項(xiàng)目及時準(zhǔn)確的實(shí)施。第三章 數(shù)據(jù)倉庫總體設(shè)計 數(shù)據(jù)倉庫實(shí)施環(huán)境數(shù)據(jù)庫以O(shè)RACLE為基礎(chǔ)，POWERDESIGNER進(jìn)行數(shù)據(jù)模型的確定加工，PL/SQL DEVELOPER軟件進(jìn)行具體的過程開發(fā)。 確定數(shù)據(jù)倉庫開發(fā)的生命周期由于數(shù)據(jù)倉庫最佳結(jié)合了業(yè)務(wù)慣例和信息系統(tǒng)技術(shù)，因此，一個成功的數(shù)據(jù)倉庫實(shí)施需要這兩方面的不斷協(xié)調(diào)，以均衡其所有的需要，要求，任務(wù)和成果。數(shù)據(jù)倉庫項(xiàng)目有3個軌道(tracks)：數(shù)據(jù)軌道，技術(shù)軌道和應(yīng)用層軌道。當(dāng)在整理任何數(shù)據(jù)庫項(xiàng)目計劃時，建議以這三個軌道為模板來管理和同步活動。數(shù)據(jù)庫生命周期管理方法(Discover, Design, Develop, Deploy, Day to Day , Defend, Demission), 昵稱“7D法”。數(shù)據(jù)倉庫的構(gòu)建從來不會真正結(jié)束。不像傳統(tǒng)的數(shù)據(jù)庫在部署后的一段時間里保持相對的不變，數(shù)據(jù)倉庫始終處于不斷的變化之中，以應(yīng)對它所服務(wù)的業(yè)務(wù)環(huán)境的變化。當(dāng)今的業(yè)務(wù)環(huán)境更加復(fù)雜，并涉及比以往任何時候都要快的變化。處理這種幾乎是不斷的變化是企業(yè)的最大挑戰(zhàn)之一。這就是為什么數(shù)據(jù)倉庫團(tuán)隊中的每一個人，包括技術(shù)決策者( TDMs ) 和業(yè)務(wù)決策者( BDMs )，都必須處在同一陣線上，使用同一種生命周期管理方法，以使他們的認(rèn)識完全得到統(tǒng)一。只有這樣，才有可能對已實(shí)施的數(shù)據(jù)倉庫、企業(yè)的構(gòu)想和宗旨進(jìn)行調(diào)整。(1)發(fā)掘任何規(guī)模和領(lǐng)域的數(shù)據(jù)庫項(xiàng)目離開了開始的發(fā)掘階段都將失敗。這個階段也被稱為“需求分析和定義”， 發(fā)掘階段需要以業(yè)務(wù)為中心，特別是數(shù)據(jù)倉庫項(xiàng)目，因?yàn)閿?shù)據(jù)倉庫的輸出需要支持組織的目標(biāo)。發(fā)掘這一步實(shí)質(zhì)上就是調(diào)查，應(yīng)該不斷地問六個基本問題(什么，如何，在何處，誰，何時和為什么)，記錄好答案，并把這些答案包含在您起草的解決方案中。在“7步”的前3步(發(fā)掘，設(shè)計，開發(fā))中，必須對業(yè)務(wù)主和技術(shù)專家進(jìn)行集中的協(xié)調(diào)，項(xiàng)目經(jīng)理(PM)應(yīng)該促成這一進(jìn)程。項(xiàng)目經(jīng)理作為一個獨(dú)立的專業(yè)人員，主要關(guān)心項(xiàng)目的及時上線、預(yù)算在控制范圍內(nèi)，有預(yù)期的運(yùn)行效果。項(xiàng)目經(jīng)理在得到各方的反饋意見后，負(fù)責(zé)制定嚴(yán)格的路線，里程碑和成功指標(biāo)。如果項(xiàng)目里沒有PM,這些將成為您的工作。在發(fā)掘階段，PM必須收集三個軌道的信息，即技術(shù)軌道，數(shù)據(jù)軌道和應(yīng)用層軌道。在其他任務(wù)中，PM必須確定利益相關(guān)者和用戶，必須理解他們各自的角色和相應(yīng)的數(shù)據(jù)/視圖 需求。PM必須知道本組織的績效管理策略：目標(biāo)是什么，倡議什么以及跟蹤業(yè)務(wù)和項(xiàng)目健康狀況的支撐度量標(biāo)準(zhǔn)/關(guān)鍵績效指標(biāo)。如果上述策略的任何部分遺漏了，該項(xiàng)目很有可能失去最終用戶的評分，這可能會導(dǎo)致低的采用通過率和未來資金的丟失。換句話說，該項(xiàng)目將失敗，而不管項(xiàng)目任務(wù)執(zhí)行得有多么完美。(2) 設(shè)計設(shè)計這一步的主要活動是定義描述數(shù)據(jù)倉庫的語義和概要模型。這些模型必須解決企業(yè)用戶的管理信息系統(tǒng)(MISs)和商務(wù)智能( BI )分析需要。對于數(shù)據(jù)倉庫項(xiàng)目，可以為關(guān)系型數(shù)據(jù)倉庫創(chuàng)建概念和邏輯數(shù)據(jù)模型，為表示多維立方體創(chuàng)建三維模型。可以使用決策矩陣，以幫助確定每個三維模型需要包含些什么。沿Y軸方向列出被數(shù)據(jù)倉庫支持的關(guān)鍵業(yè)務(wù)流程，沿X軸方向列出建議的維。這個矩陣將作為當(dāng)前開發(fā)、未來擴(kuò)展和跨組織集成的向?qū)АＴ谠O(shè)計階段建立的模型必須反映第一階段收集的六個問題的答案。標(biāo)識數(shù)據(jù)倉庫相關(guān)的所有數(shù)據(jù)源(內(nèi)部和外部的)，業(yè)務(wù)/交易數(shù)據(jù)庫和展平文件是個好注意。同時應(yīng)該明確說明哪些數(shù)據(jù)將被導(dǎo)入數(shù)據(jù)倉庫，哪些只會簡單地作為外部數(shù)據(jù)源引用。通常，技術(shù)軌道有自己的PM，但仍然可能需要填補(bǔ)那個角色。數(shù)據(jù)倉庫可以增長為非常大的內(nèi)容和十分廣泛的范圍，因此有必要在數(shù)據(jù)倉庫部署之前恰當(dāng)?shù)匾?guī)劃其大小。首先在紙上估計其大小，這樣您就可以大致把握當(dāng)數(shù)據(jù)倉庫投入產(chǎn)品應(yīng)用時所需的處理器速度和磁盤容量。同時需要估算一天的業(yè)務(wù)終端用戶數(shù)量以及他們使用的應(yīng)用(例如，對立方體做一個特別分析，或者從關(guān)系數(shù)據(jù)倉庫中取出緩存的報告)，也要估算數(shù)據(jù)倉庫一年中將會存儲的數(shù)據(jù)量。只是因?yàn)閿?shù)據(jù)倉庫是一個進(jìn)展中的工作，可能會需要兩年和五年預(yù)測，同樣，其處理能力和數(shù)據(jù)存儲需求將隨著時間的推移不斷增加。數(shù)據(jù)倉庫設(shè)施包括各種硬件，通信和軟件解決方案，所有這一切都必須協(xié)同工作，為終端用戶提供一個工作的數(shù)據(jù)倉庫。這樣需要足夠的時間來計劃和測試將如何整合所有這些不同的組成部分。跟技術(shù)軌道一樣，應(yīng)用軌道可能有自己的PM或由一個主導(dǎo)的軟件開發(fā)人員充當(dāng)這一角色。如果你的工作是與此人協(xié)調(diào)以同步任務(wù)。如果不是，那工作描述會擴(kuò)大。應(yīng)用層包括獲取從數(shù)據(jù)倉庫收集到的輸出，通常是MIS報告和BI分析結(jié)果。MIS報告常是屏幕顯示，儀表板，和打印副本的形式，它們幫助企業(yè)管理者做出運(yùn)行日常業(yè)務(wù)所需的戰(zhàn)術(shù)決策。這些輸出相對比較容易界定、編碼和被一系列標(biāo)準(zhǔn)化的進(jìn)程抓取，這些進(jìn)程運(yùn)行在可預(yù)定環(huán)境中。應(yīng)用層的BI部分是一組查詢和響應(yīng)，以幫助執(zhí)行管理作出戰(zhàn)略決策，推動商務(wù)運(yùn)營。BI解決方案往往是非結(jié)構(gòu)化的，很難預(yù)定義，因?yàn)樗麄儍A向于用一種特別的方式探索數(shù)據(jù)。記分牌，圖形和數(shù)據(jù)透視表是BI的應(yīng)用例子，它們能刺激更多的數(shù)據(jù)探索，而這可能導(dǎo)致公司內(nèi)部戰(zhàn)略方向的改變。在這個階段許多方法要求原型或試點(diǎn)項(xiàng)目?！?D法”不需要。至多，作為應(yīng)用層的設(shè)計活動中的一部分，可以做一個“點(diǎn)擊模式”一種輸入/輸出屏幕的快速呈現(xiàn)模型，不涉及或只有極少的代碼但卻能給利益攸關(guān)方可視化的概念，同時又不會吃掉寶貴的時間和資源。如果試點(diǎn)或原型是必要的，那么選擇其中的一個切片(slice)作為試點(diǎn)，完成“7D法”的每一步?！?D法”不區(qū)分試點(diǎn)，原型和產(chǎn)品系統(tǒng)它們都被視為項(xiàng)目。如果按照“7D法”設(shè)計了一個原型，并且最終進(jìn)入了產(chǎn)品(大多數(shù)原型都是這樣)，然后要選擇比第一個切片更仔細(xì)地選擇第二個切片。如果這些切片不能成功地集成在一起，如果他們不支持我們在發(fā)掘步驟發(fā)現(xiàn)的企業(yè)宗旨和意圖，那么整合彼此只會遇到困難，在某些情況下，甚至根本不可能。(3) 開發(fā)數(shù)據(jù)軌道開發(fā)步驟主要有兩個部分：第一個涉及將數(shù)據(jù)模型映射到其對應(yīng)的物理設(shè)計(實(shí)質(zhì)是關(guān)系數(shù)據(jù)倉庫和OLAP立方體的藍(lán)圖)，規(guī)劃數(shù)據(jù)庫的大小，必要時對表進(jìn)行分塊，為數(shù)據(jù)倉庫對象設(shè)定命名約定以便業(yè)務(wù)用戶和技術(shù)用戶都能適應(yīng)，并制定索引和識別索引候選名單的策略。圖31 通過POWERDESIGNER工具建表第二部分涉及數(shù)據(jù)從外部數(shù)據(jù)源到數(shù)據(jù)倉庫的提取轉(zhuǎn)換加載(ETL)。包含在第二部分但不局限于這一部分的是數(shù)據(jù)轉(zhuǎn)換服務(wù)( DTS )/SQL Server整合服務(wù)( SSIS)補(bǔ)丁的開發(fā)與測試，導(dǎo)入/導(dǎo)出和TSQL腳本開發(fā)和測試，以及對外部數(shù)據(jù)源組件的數(shù)據(jù)整合測試，這些數(shù)據(jù)不會導(dǎo)入到數(shù)據(jù)倉庫。圖32 ETL監(jiān)控流程　　技術(shù)軌道的開發(fā)步驟包括審查，測試和選擇產(chǎn)品，并提供其作品的體系結(jié)構(gòu)設(shè)計。為了組成通信鏈路的各個層物理層、數(shù)據(jù)鏈路層、網(wǎng)絡(luò)層以及傳輸層，會話和表現(xiàn)層，這樣做是必需的。雖然許多產(chǎn)品把多層無縫打包到一個解決方案，但有必要認(rèn)識到這些層中的每一個在未來的負(fù)載要求和性能要求，并提前為這些需求作好準(zhǔn)備。為了從新的數(shù)據(jù)倉庫交付數(shù)據(jù)，應(yīng)該選定數(shù)據(jù)