【文章內容簡介】 構成地震數(shù)據處理與解釋一體化系統(tǒng)的實用方案。曙光，找油之途一路鶯歌 早在1997年，曙光天潮1000A落戶遼河油田，一舉打破了國外高性能計算機一統(tǒng)河山的局面，實現(xiàn)了國產高性能服務器商品化零的突破。隨后的兩年里，曙光高性能計算機在國內石油領域攻城破掠池，不斷取得市場突破。2002年，曙光1700服務器和以色列帕拉代姆公司地震處理軟件攜手進入東方地球物理公司效力。2003年中石化南京物探采用曙光超級計算機，并在2003年度“中石化系統(tǒng)地質勘探比武”榮獲第一。同年6月，,使東方物探公司成為國內商業(yè)領域計算機應用規(guī)模最大、運算速度最快、處理能力最強的超級計算機用戶。 2004年，曙光在海洋石油勘探領域再次取得新的突破，在湛江和天津兩地為中海油成功構建了兩大地震數(shù)據處理中心。截止到目前，中石油、中石化和中海油三大石化巨頭共采購曙光超級服務器的計算力總和已經超過10萬億次每秒。 據國際能源署預測，成為世界上繼美國之后第二大石油消費國。能源短缺已經成為制約中國經濟發(fā)展的瓶頸。隨著一些陸上油田進入枯竭期，海洋石油正快速發(fā)展，第11個五年計劃期間，我國原油產量中的增量部分將主要來自海上石油。中國是一個海洋大國，擁有大陸海岸線18000多公里，島嶼岸線達14000多公里，“藍色國土”面積約為300多萬平方公里。這既為中國海洋石油工業(yè)的生存發(fā)展與創(chuàng)造無限可能提供了一個遼闊空間，同時也為高性能計算機的應用營造了一個神奇而壯闊的舞臺。石油地震資料處理系統(tǒng)解決方案摘要：曙光公司根據其多年從事高性能計算機研究、生產和服務于石油行業(yè)特別是地震資料處理的經驗，推出了基于曙光4000超級計算機的石油地震資料處理系統(tǒng)解決方案。該解決方案結合高性能計算機和地震資料處理的特點，充分的考慮了整個系統(tǒng)的可靠性，有效地緩解了系統(tǒng)瓶頸，合理地分配系統(tǒng)資源，確保了整個系統(tǒng)高效、穩(wěn)定、連續(xù)的運行。同時又充分考慮了整個系統(tǒng)今后的擴容、升級，切實地保護用戶的投資。 關鍵字：Paradiam、石油地震資料、集群、石油勘探1方案構成 地震資料處理類軟件較多，目前采用較多的有以色列Paradigm公司的Paradigm軟件的GEO疊前深度偏移系統(tǒng)Geodepth、西方地球物理公司的OMEGA處理軟件、ADS的炮域波動方程系統(tǒng)VIEWS、CGG公司的Geovector系統(tǒng)、Landmark公司的PROMAX處理系統(tǒng)、PGS的CM地震處理系統(tǒng)、ScreenSeis并行地震處理系統(tǒng)等等。 這一類軟件有一個共同的特征是：文件IO量巨大，其輸入輸出文件一般都是以T作為計算單位，IO系統(tǒng)的性能嚴重影響著整個系統(tǒng)的性能。所以，地震資料處理系統(tǒng)要求有巨大、高效的存儲系統(tǒng)。其次，它對計算性能也有一定的要求，特別是浮點處理能力。 32位集群方案 整個系統(tǒng)采用目前流行的Linux集群系統(tǒng)，主要包括節(jié)點機、網絡、存儲系統(tǒng)、管理和監(jiān)控系統(tǒng)、機柜和電源系統(tǒng)、集群軟件和并行軟件。 圖1： 整體結構圖 節(jié)點機主要包括三類節(jié)點：計算節(jié)點、管理/登入節(jié)點、IO節(jié)點。其中： 計算節(jié)點 主要用于完成計算，擔負著完成地震資料處理的巨大的計算任務。例如采用炮域波動方程的方法完成疊前深度偏移時，計算節(jié)點主要任務是完成求解炮域波動方程。這就要求計算節(jié)點： 有很強的計算能力，特別是浮點運算能力。 有適量的內存以能容納求解方程時所有的數(shù)據和程序，一旦內存空間不夠使用系統(tǒng)緩存，這將極大的影響系統(tǒng)性能；但同時沒有必要內存空間過大，經測試表明，一般情況下每個CPU配置1GB內存為最佳。 有很好的通訊網絡，以便保證在作并行計算時計算節(jié)點間通訊的帶寬和延遲。 由于計算節(jié)點的任務主要是計算，對IO要求并不高，所有沒有必要有很強的IO擴展能力。同時，在一套集群系統(tǒng)中，計算節(jié)點眾多，所以采用高密節(jié)點機為佳，一般都采用1U、2U節(jié)點機。 綜合以上分析，在地震資料處理系統(tǒng)，我們一般采用天闊R210XP或者R210XV作為計算節(jié)點，配置兩顆Intel Xeon CPU，每個節(jié)點2GB內存，計算網絡一般采用千兆以太網。 IO節(jié)點 IO節(jié)點與存儲設備、NFS文件系統(tǒng)、HA軟件等組成存儲系統(tǒng)。IO節(jié)點作為NFS文件系統(tǒng)主節(jié)點，外掛磁盤陣列或者連接其它存儲設備，負責文件的I/O操作。其它節(jié)點包括計算節(jié)點和管理登入節(jié)點的訪問存儲設備的請求都要通過I/O節(jié)點完成。IO節(jié)點有如下特點： 有豐富的外設，如光驅、軟驅、USB口等等 一般需要外接一些IO設備和插一些IO擴展卡，所以要求節(jié)點機較強的IO可擴展性，要求節(jié)點機有較大的空間，一般都采用2U、4U甚至空間更大的節(jié)點機 對性能有較高的要求，系統(tǒng)中所有節(jié)點的IO操作都需要通過IO節(jié)點，所以一定要保證IO節(jié)點的性能 有較大的內存，大內存有利于IO操作性能的提供 一般需要安裝高可用軟件，IO節(jié)點一般是系統(tǒng)的單一故障點，所以可以通過高可用系統(tǒng)消除這一單一故障點 由于IO節(jié)點和存儲系統(tǒng)密切相關，所以IO節(jié)點將在后面存儲系統(tǒng)中詳細討論。 管理/登陸節(jié)點 管理/登入節(jié)點是外部設備和集群系統(tǒng)之間連接的橋梁，任何用戶和系統(tǒng)的管理員都只能通過管理/登入節(jié)點才可能登陸到節(jié)點機子系統(tǒng)上，事實上，管理/登入節(jié)點是一個多種身份于一身的節(jié)點，它主要由以下幾項功能：閱至此處 登入：它是用戶登陸整個系統(tǒng)的第一道設備，用戶在通過系統(tǒng)的防火墻以后就可以登陸到管理節(jié)點，由此用戶可以遠程連接到計算節(jié)點上進行運算，用戶也可以直接通過管理節(jié)點提交計算任務，總之用戶必須通過管理節(jié)點對整個集群系統(tǒng)進行操作，它為整個系統(tǒng)提供了一個更加安全的設備保障。 管理：在這個節(jié)點上安裝絕大多數(shù)的曙光集群管理系統(tǒng)軟件，系統(tǒng)管理員可以通過在管理節(jié)點上的圖形界面對整個集群進行有效的管理。 作業(yè)遞交：在這里安裝了曙光作業(yè)調度系統(tǒng)，用戶可以在這個節(jié)點上提交并行任務。 上述身份對管理/登入節(jié)點有如下要求： 對性能要求不高。管理/登入節(jié)點雖然身兼數(shù)職，但每一項任務對節(jié)點機的性能沒有過高的要求。 管理/登入節(jié)點安裝了很多軟件，包括集群管理監(jiān)控、作業(yè)調度系統(tǒng)、防火墻等等，所以與計算節(jié)點相比，它需要連接一些外部設備、一定的存儲空間。 需要多塊網卡。管理/登入節(jié)點不僅要和集群內部網絡相連，同時還必須和外部網絡連接，所以相比與其它節(jié)點，管理/登入節(jié)點需要增加一塊與外部網絡相連的網卡。 總的來說，系統(tǒng)對管理/登入節(jié)點要求不高，只要采用相對經濟的配置就可以了，但必需保持和計算節(jié)點、IO節(jié)點同構。 網絡的設計是系統(tǒng)中很重要的一部分，網絡系統(tǒng)特別是計算網絡的性能很大程度上影響著整個系統(tǒng)的性能。本方案的網絡系統(tǒng)的設計從性能和可靠兩個原則出發(fā)，采用兩套網絡實現(xiàn)方式。實現(xiàn)雙網分離、專網專用、相互備份，達到系統(tǒng)的高性能和高可靠性。 由于并行計算時的數(shù)據通訊和NFS文件系統(tǒng)的數(shù)據傳遞對網絡的要求較高，為了管理、監(jiān)控等操作不對計算通訊和文件IO操作產生任何干擾，本方案設計了兩套網絡系統(tǒng)，實現(xiàn)雙網分離、專網專用，保證了系統(tǒng)的高效性。同時，兩套網絡又起著相互備份的功能，當其中一套網絡由于某種故障癱瘓時，另一套網絡就會擔負起其功能，雖然會在一定程度上影響到系統(tǒng)性能，但卻能保證系統(tǒng)在某一套網絡癱瘓時正常運行，提高了系統(tǒng)的可靠性。 兩套網絡包括計算網絡和管理網絡。其中計算網絡采用千兆以太網，管理網絡為百兆以太網，如圖： 圖2：網絡結構圖 在作地震資料處理時，計算網絡主要擔負著并行計算時的數(shù)據通訊和NFS文件系統(tǒng)的數(shù)據傳遞。并行計算時的數(shù)據通訊主要是求解方程組時各個計算節(jié)點間的數(shù)據交換；這種數(shù)據交換主要是發(fā)生在計算節(jié)點之間，每次交換的數(shù)據相對不是很大，但交換的次數(shù)較為頻繁。NFS文件系統(tǒng)的數(shù)據傳遞主要是讀寫數(shù)據文件和其它文件；這種網絡通訊主要發(fā)生在計算節(jié)點和IO節(jié)點之間，計算節(jié)點通過IO節(jié)點讀寫存儲設備；其特點是網絡通訊并不頻繁，一般發(fā)生在程序運行的開始、結束以及中間特定的時間，但是每次通訊的數(shù)據量很大，所以對網絡的帶寬要求較高。 根據計算網絡這樣一些特點，本方案采用千兆以太網作為計算網絡，其優(yōu)越的性能足以在地震資料處理系統(tǒng)中擔負起計算網絡的角色。同時，其相對于其它專用高速網絡更為便宜的價格以及方便的安裝維護，通用的接口，具有極高的性價比。 管理網絡主要用于系統(tǒng)管理、監(jiān)控、登入等，這些操作對網絡性能沒有較高的要求，所以在本系統(tǒng)采用經濟的百兆以太網作為管理網絡。 存儲系統(tǒng)由IO節(jié)點、存儲設備、NFS文件系統(tǒng)、HA軟件等組成。存儲設備可以是DAS，也可以是SAN。 下圖是采用DAS方式的存儲系統(tǒng)結構圖： 圖3：DAS存儲系統(tǒng)結構圖 下圖是采用SAN方式的存儲系統(tǒng)結構圖： 圖4：SAN存儲系統(tǒng)結構圖 在作地震資料處理時，所有計算節(jié)點都通過IO節(jié)點從存儲設備上讀寫數(shù)據文件，此時，IO節(jié)點和存儲設備就成為系統(tǒng)的瓶頸，特別是與IO相連的網絡。千兆