【文章內容簡介】 基體配對過程?！肮庾舆\算具有巨大的潛力，能夠做常規(guī)計算無法辦到的事?！钡聡_姆施塔特大學的科爾內利婭登茨博士長期致力于光計算研究。她表示，采用光學技術不但可以極大地提升計算機的運算速度，而且可以讓計算機系統(tǒng)模擬人腦的思維活動，并且比人腦的處理速度快上數千倍，從而實現真正的人工智能?？茖W家的預測不是沒有依據的。到2015年，硅芯片的運算速度和微型化發(fā)展都將止步不前。而與此同時，網絡和其他行業(yè)發(fā)展帶來的海量數據運算需要和更快的傳輸需求，將迫使人們不得不尋求革命性的變革。(3)網格技術網格計算因為在結構上酷似電力網絡而得名。在九十年代中期，網格作為一種共享計算的方法被正式提出，并首先在科研領域應用。后來，為了降低成本，很多企業(yè)也打算利用閑置的資源，網格開始逐步進入商業(yè)市場，并由此為許多產業(yè)帶來了新的機遇。網格技術是一種趨勢，這是毋庸置疑的。就像計算機最初是大型主機，發(fā)展到更加通用的小型機，現在則又有了更多的選擇。這其中有成本的原因，有硬件技術的發(fā)展，也說明大家都在期待一個更加開放的平臺。網格技術正是這種趨勢發(fā)展的一個必然。盡管網格的發(fā)展還面臨很大的困難，有業(yè)內人士說，“網格的處境就好像10年前的Internet和3年前的Linux一樣，正在從技術計算進入商業(yè)計算?！钡?，曾經價格高昂的網格計算已經進入各個組織機構及跨國公司，廣泛應用到金融和工程仿真，醫(yī)學研究和石油勘探領域，發(fā)揮著巨大的作用：汽車制造商們正實施更多的模擬程序以使汽車更安全；娛樂公司更細致地描繪數字人像以求逼真的效果……對企業(yè)來說，網格無疑是極具價值的工具，未來幾年，將會有更多的網格進入市場。為了在未來的發(fā)展潮流中占據有利的戰(zhàn)略地位，世界各國都紛紛加緊了網格研究的步伐。 一些發(fā)達國家和跨國公司已為此投下了巨資。在具體實施中，IBM全球服務部和其業(yè)務合作伙伴一起，共同提供各種與網格有關的服務，包括一個網格創(chuàng)新工作室(用于幫助企業(yè)在其業(yè)務中實施網格)以及專業(yè)化的行業(yè)專用課程。在產品方面，IBM eServer產品線也形成了一個可以用來設計和開發(fā)網格解決方案、甚至管理整個網格的堅實平臺；其 DB2產品和工具也支持網格計算解決方案，使得能快速、方便地建設復雜的數據基礎設施。(4)數據倉庫、聯機系統(tǒng)的發(fā)展根據長久以來的經驗，計算機的軟硬件發(fā)展一直是互相促進、互為動力的。以上所述的未來高性能計算機、Internet網格技術等等已經為我們勾勒出了一幅美好的畫面。更強大的計算工作站、驚人的信息傳輸速度、更優(yōu)化的網絡協(xié)調機制，這些無疑都給未來軟件業(yè)的發(fā)展帶來了更廣闊的施展空間。就如同現在的PC機使用的內存，比10年前硬盤的存儲容量還大一樣。許許多多現在認為不可能實現或相當復雜的工作，對那時的計算機系統(tǒng)來說不過是小兒科而以。到那時對一個包含5千萬條記錄的DW作一次完整分析，也僅僅需要幾秒鐘的時間。所以我們有理由相信在新一代的應用系統(tǒng)中，數據倉庫將在一開始便被納入系統(tǒng)設計的考慮，聯機分析會應用于普遍的事務處理系統(tǒng)之中。在數據管理上，聯機事務處理和數據倉庫在應用中相對獨立，使聯機事務處理系統(tǒng)本身更加簡潔高效，同時分析統(tǒng)計也更為便利。面向行業(yè)的數理統(tǒng)計學向更為普遍的應用發(fā)展，并集成到應用系統(tǒng)的數據倉庫解決方案中。它們將立足于數據倉庫提供的豐富信息，更好地為業(yè)務決策服務。企業(yè)建立數據倉庫是為了填補現有數據存儲形式已經不能滿足信息分析的需要。數據倉庫理論中的一個核心理念就是：事務型數據和決策支持型數據的處理性能不同。企業(yè)在它們的事務操作收集數據。在企業(yè)運作過程中：隨著定單、銷售記錄的進行，這些事務型數據也連續(xù)的產生。為了引入數據，我們必須優(yōu)化事務型數據庫。處理決策支持型數據時，一些問題經常會被提出：哪類客戶會購買哪類產品？促銷后銷售額會變化多少？等，事務型數據庫可以為這些問題作出解答，但是它所給出的答案往往并不能讓人十分滿意。在運用有限的計算機資源時常常存在著競爭。在增加新信息的時候我們需要事務型數據庫是空閑的。而在解答一系列具體的有關信息分析的問題的時候，系統(tǒng)處理新數據的有效性又會被大大降低。另一個問題就在于事務型數據總是在動態(tài)的變化之中的。決策支持型處理需要相對穩(wěn)定的數據，從而問題都能得到一致連續(xù)的解答。 　　數據倉庫的解決方法包括：將決策支持型數據處理從事務型數據處理中分離出來。數據按照一定的周期（通常在每晚或者每周末），從事務型數據庫中導入決策支持型數據庫——既“數據倉庫”。數據倉庫是按回答企業(yè)某方面的問題來分“主題”組織數據的，這是最有效的數據組織方式。第二章 數據倉庫需求分析 需求分析原因需求分析的成敗直接影響到數據倉庫的成敗實施。對于一個嚴格完整的數據倉庫項目來說，需求分析應該屬于數據倉庫項目的第二個過程，第一階段屬于數據倉庫項目定義階段，對項目范圍、項目評估、可行性研究分析和投資回報等相關進行定義，也是一個不容忽視的階段。首先數據倉庫失敗的典型表現形式： 圖21 數據倉庫失敗圖示（1）項目超過預算（2）沒有在規(guī)定的時間內完成（3）沒有實現要求的功能（4）用戶不滿意（5）系統(tǒng)性能不滿足要求 需求分析階段在進入需求分析的初級階段時必須要先確立數據倉庫項目組人員（其中包括公司接口規(guī)范人員、接口人員、數據開發(fā)人員、ETL調度人員、稽核人員、頁面展現人員等），對局方聯通進行接洽商討等相關工作。 需求分析成員確立（1） 接口規(guī)范人員：用來確定當前經分能否支撐局方提出的需求，經過商討，判定當前擁有的接口是否滿足需要，或是重新確定新的接口，來支撐項目的實施。如圖，例如對聯通融合業(yè)務進行商討，判斷接口是否可以實施。圖22 接口規(guī)范制定流程（2） 接口人員：負責承接省分上傳的數據，進行初步的稽核，確認是否需要遲傳、通報等，并通過ETL調度，調起節(jié)點。判斷ETL能否成功調起，所承受的負載最大值等。圖23 接口入庫流程（3）數據庫開發(fā)人員：進行項目的開發(fā)和實施，通過與局方商議，根據需求預計項目實施周期。通過Powerdesigner、PL/SQL等工具，進行設計開發(fā)。（4）ETL調度人員：在開發(fā)人員腳本成功開發(fā)后，由ETL統(tǒng)一并行調度，保證及時觸發(fā)節(jié)點，并實時監(jiān)控。圖24 ETL調度實例（5）稽核人員：實時的對數據進行詳細的稽核校驗，確保數據無誤，能夠及時準確的上傳至頁面。尤其是對重要字段進行反復校驗，及時通過郵件反饋。（6）頁面展現人員：當稽核人員確定數據無誤時，由頁面展現人員進行頁面展現，供局方人員使用，確保數據的實時準確。有些情況下還會有項目協(xié)調和會議記錄等人員參加。 需求會議在做需求分析之前，一般需要對局方進行接口的確定，以保證總部和省分以統(tǒng)一的接口進行上傳和接收，并通過接口規(guī)范來得到雙方的確認，會議的目的就是公司與局方在各個方面達成一致，啟發(fā)局方提出更貼近數據倉庫的需求，具體想要得到哪些數據，渴望得到哪些結果。需求會議一方面是為了消除局方在進行需求確認時的數據倉庫的盲區(qū)，更重要的一方面是讓局方知道建設數據倉庫開發(fā)的過程和困難，還有一方面就是能夠得到局方配合來完成項目及時準確的實施。第三章 數據倉庫總體設計 數據倉庫實施環(huán)境數據庫以ORACLE為基礎，POWERDESIGNER進行數據模型的確定加工，PL/SQL DEVELOPER軟件進行具體的過程開發(fā)。 確定數據倉庫開發(fā)的生命周期由于數據倉庫最佳結合了業(yè)務慣例和信息系統(tǒng)技術，因此，一個成功的數據倉庫實施需要這兩方面的不斷協(xié)調，以均衡其所有的需要，要求，任務和成果。數據倉庫項目有3個軌道(tracks)：數據軌道，技術軌道和應用層軌道。當在整理任何數據庫項目計劃時，建議以這三個軌道為模板來管理和同步活動。數據庫生命周期管理方法(Discover, Design, Develop, Deploy, Day to Day , Defend, Demission), 昵稱“7D法”。數據倉庫的構建從來不會真正結束。不像傳統(tǒng)的數據庫在部署后的一段時間里保持相對的不變，數據倉庫始終處于不斷的變化之中，以應對它所服務的業(yè)務環(huán)境的變化。當今的業(yè)務環(huán)境更加復雜，并涉及比以往任何時候都要快的變化。處理這種幾乎是不斷的變化是企業(yè)的最大挑戰(zhàn)之一。這就是為什么數據倉庫團隊中的每一個人，包括技術決策者( TDMs ) 和業(yè)務決策者( BDMs )，都必須處在同一陣線上，使用同一種生命周期管理方法，以使他們的認識完全得到統(tǒng)一。只有這樣，才有可能對已實施的數據倉庫、企業(yè)的構想和宗旨進行調整。(1)發(fā)掘任何規(guī)模和領域的數據庫項目離開了開始的發(fā)掘階段都將失敗。這個階段也被稱為“需求分析和定義”， 發(fā)掘階段需要以業(yè)務為中心，特別是數據倉庫項目，因為數據倉庫的輸出需要支持組織的目標。發(fā)掘這一步實質上就是調查，應該不斷地問六個基本問題(什么，如何，在何處，誰，何時和為什么)，記錄好答案，并把這些答案包含在您起草的解決方案中。在“7步”的前3步(發(fā)掘，設計，開發(fā))中，必須對業(yè)務主和技術專家進行集中的協(xié)調，項目經理(PM)應該促成這一進程。項目經理作為一個獨立的專業(yè)人員，主要關心項目的及時上線、預算在控制范圍內，有預期的運行效果。項目經理在得到各方的反饋意見后，負責制定嚴格的路線，里程碑和成功指標。如果項目里沒有PM,這些將成為您的工作。在發(fā)掘階段，PM必須收集三個軌道的信息，即技術軌道，數據軌道和應用層軌道。在其他任務中，PM必須確定利益相關者和用戶，必須理解他們各自的角色和相應的數據/視圖 需求。PM必須知道本組織的績效管理策略：目標是什么，倡議什么以及跟蹤業(yè)務和項目健康狀況的支撐度量標準/關鍵績效指標。如果上述策略的任何部分遺漏了，該項目很有可能失去最終用戶的評分，這可能會導致低的采用通過率和未來資金的丟失。換句話說，該項目將失敗，而不管項目任務執(zhí)行得有多么完美。(2) 設計設計這一步的主要活動是定義描述數據倉庫的語義和概要模型。這些模型必須解決企業(yè)用戶的管理信息系統(tǒng)(MISs)和商務智能( BI )分析需要。對于數據倉庫項目，可以為關系型數據倉庫創(chuàng)建概念和邏輯數據模型，為表示多維立方體創(chuàng)建三維模型?？梢允褂脹Q策矩陣，以幫助確定每個三維模型需要包含些什么。沿Y軸方向列出被數據倉庫支持的關鍵業(yè)務流程，沿X軸方向列出建議的維。這個矩陣將作為當前開發(fā)、未來擴展和跨組織集成的向導。在設計階段建立的模型必須反映第一階段收集的六個問題的答案。標識數據倉庫相關的所有數據源(內部和外部的)，業(yè)務/交易數據庫和展平文件是個好注意。同時應該明確說明哪些數據將被導入數據倉庫，哪些只會簡單地作為外部數據源引用。通常，技術軌道有自己的PM，但仍然可能需要填補那個角色。數據倉庫可以增長為非常大的內容和十分廣泛的范圍，因此有必要在數據倉庫部署之前恰當地規(guī)劃其大小。首先在紙上估計其大小，這樣您就可以大致把握當數據倉庫投入產品應用時所需的處理器速度和磁盤容量。同時需要估算一天的業(yè)務終端用戶數量以及他們使用的應用(例如，對立方體做一個特別分析，或者從關系數據倉庫中取出緩存的報告)，也要估算數據倉庫一年中將會存儲的數據量。只是因為數據倉庫是一個進展中的工作，可能會需要兩年和五年預測，同樣，其處理能力和數據存儲需求將隨著時間的推移不斷增加。數據倉庫設施包括各種硬件，通信和軟件解決方案，所有這一切都必須協(xié)同工作，為終端用戶提供一個工作的數據倉庫。這樣需要足夠的時間來計劃和測試將如何整合所有這些不同的組成部分。跟技術軌道一樣，應用軌道可能有自己的PM或由一個主導的軟件開發(fā)人員充當這一角色。如果你的工作是與此人協(xié)調以同步任務。如果不是，那工作描述會擴大。應用層包括獲取從數據倉庫收集到的輸出，通常是MIS報告和BI分析結果。MIS報告常是屏幕顯示，儀表板，和打印副本的形式，它們幫助企業(yè)管理者做出運行日常業(yè)務所需的戰(zhàn)術決策。這些輸出相對比較容易界定、編碼和被一系列標準化的進程抓取，這些進程運行在可預定環(huán)境中。應用層的BI部分是一組查詢和響應，以幫助執(zhí)行管理作出戰(zhàn)略決策，推動商務運營。BI解決方案往往是非結構化的，很難預定義，因為他們傾向于用一種特別的方式探索數據。記分牌，圖形和數據透視表是BI的應用例子，它們能刺激更多的數據探索，而這可能導致公司內部戰(zhàn)略方向的改變。在這個階段許多方法要求原型或試點項目。“7D法”不需要。至多，作為應用層的設計活動中的一部分，可以做一個“點擊模式”一種輸入/輸出屏幕的快速呈現模型，不涉及或只有極少的代碼但卻能給利益攸關方可視化的概念，同時又不會吃掉寶貴的時間和資源。如果試點或原型是必要的，那么選擇其中的一個切片(slice)作為試點，完成“7D法”的每一步。“7D法”不區(qū)分試點，原型和產品系統(tǒng)它們都被視為項目。如果按照“7D法”設計了一個原型，并且最終進入了產品(大多數原型都是這樣)，然后要選擇比第一個切片更仔細地選擇第二個切片。如果這些切片不能成功地集成在一起，如果他們不支持我們在發(fā)掘步驟發(fā)現的企業(yè)宗旨和意圖，那么整合彼此只會遇到困難，在某些情況下，甚至根本不可能。(3) 開發(fā)數據軌道開發(fā)步驟主要有兩個部分：第一個涉及將數據模型映射到其對應的物理設計(實質是關系數據倉庫和OLAP立方體的藍圖)，規(guī)劃數據庫的大小，必要時對表進行分塊，為數據倉庫對象設定命名約定以便業(yè)務用戶和技術用戶都能適應，并制定索引和識別索引候選名單的策略。圖31 通過POWERDESIGNER工具建表第二部分涉及數據從外部數據源到數據倉庫的提取轉換加載(ETL)。包含在第二部分但不局限于這一部分的是數據轉換服務( DTS )/SQL Server整合服務( SSIS)補丁的開發(fā)與測試，導入/導出和TSQL腳本開發(fā)和測試，以及對外部數據源組件的數據整合測試，這些數據不會導入到數據倉庫。圖32 ETL監(jiān)控流程　　技術軌道的開發(fā)步驟包括審查，測試和選擇產品，并提供其作品的體系結構設計。為了組成通信鏈路的各個層物理層、數據鏈路層、網絡層以及傳輸層，會話和表現層，這樣做是必需的。雖然許多產品把多層無縫打包到一個解決方案，但有必要認識到這些層中的每一個在未來的負載要求和性能要求，并提前為這些需求作好準備。為了從新的數據倉庫交付數據，應該選定數據