【正文】 接起來，在并行程序設(shè)計語言和可視化人機(jī)交互環(huán)境下的支持下，統(tǒng)一調(diào)度，協(xié)調(diào)工作，能實(shí)現(xiàn)高效并行處理的計算機(jī)系統(tǒng)。從結(jié)構(gòu)和結(jié)點(diǎn)之間的通信方式來看，屬于分布式存儲器系統(tǒng)，由建立在一般操作系統(tǒng)上的并行編程環(huán)境完成系統(tǒng)的資源管理和協(xié)同操作，同時屏蔽了工作站及網(wǎng)絡(luò)的異構(gòu)性，對程序員和用戶來說，是一個整體的并行計算機(jī)系統(tǒng)。 1. 機(jī)群系統(tǒng)的組成 目前大多數(shù)機(jī)群系統(tǒng)采用的是現(xiàn)有商用工作站和 LAN網(wǎng)絡(luò)，編程環(huán)境是建立在 UNIX操作系統(tǒng)之上，基本組成如圖 。圖 工作站機(jī)群基本組成 1. 機(jī)群系統(tǒng)的組成 目前大多數(shù)機(jī)群系統(tǒng)采用的是現(xiàn)有商用工作站和 LAN網(wǎng)絡(luò)，編程環(huán)境是建立在 UNIX操作系統(tǒng)之上，基本組成如圖 。 每一臺微型計算機(jī)可配置完整的主存儲器、外存儲器和相應(yīng)的外部設(shè)備，可以是工作站或高檔 PC機(jī)， MM表示工作站主存儲器（ Main Memory）， B表示橋（ Bridge）， LD表示本地磁盤（ Local Disk）， IOB表示 I/O總線（ Bus）。 每一個處理器通過網(wǎng)絡(luò)接口卡 NIC連接到 LAN上，通過 LAN與其它處理器通信。一般采用的是松耦合連接，所有結(jié)點(diǎn)機(jī)能夠集體協(xié)同工作，特點(diǎn)如下： （ 1）高效網(wǎng)絡(luò)系統(tǒng) 機(jī)群系統(tǒng)一般使用通用局域網(wǎng)連接，其技術(shù)主要有兩種類型，一類是共享介質(zhì)網(wǎng)絡(luò)，最常見的是 10Mbps或 100Mbps的 Ether； 另一類是開關(guān)網(wǎng)絡(luò)，比如 155Mbps/622Mbps的 ATM、 640Mbps/Myri和 100Mbps的交換式 Ether。 但是兩種類型略有差異。前者的聚合網(wǎng)絡(luò)帶寬與單機(jī)鏈路帶寬相同，其性能會將隨網(wǎng)絡(luò)負(fù)載的增加而下降。而開關(guān)網(wǎng)絡(luò)則相反，其聚合網(wǎng)絡(luò)帶寬比單機(jī)鏈路帶寬高得多，理論上是 N倍，性能不隨網(wǎng)絡(luò)負(fù)載的增加而下降，主要用于高檔機(jī)群系統(tǒng)的連接。 （ 2）并行程序設(shè)計環(huán)境 隨著 MPP機(jī)和機(jī)群等分布式存儲器結(jié)構(gòu)的并行系統(tǒng)的發(fā)展，并行程序設(shè)計環(huán)境同步發(fā)展。這些在已開發(fā)的機(jī)群系統(tǒng)中得到應(yīng)用，支持著機(jī)群系統(tǒng)的發(fā)展。 （ 3）并行程序設(shè)計語言 并行程序設(shè)計語言與并行程序設(shè)計環(huán)境一樣，是并行處理技術(shù)必不可少的應(yīng)用技術(shù)，且已用于機(jī)群系統(tǒng)。目前的研究主要從三個方面進(jìn)行。 ① 擴(kuò)展原有的順序語言，增添并行語句，提供并行性支持，比如清華大學(xué)擴(kuò)展的 ADA、 MPC++等； ② 開發(fā)全新的并行程序設(shè)計語言，比如 Occam； ③ 研究自動并行編譯方法，直接把順序程序編譯成適合機(jī)群的并行代碼。 （ 4）全局資源管理與利用 進(jìn)行機(jī)群開發(fā)研究的目的在于提高數(shù)值運(yùn)算和數(shù)據(jù)處理的能力，充分利用系統(tǒng)的硬軟件資源。為此需在一般操作系統(tǒng)（ UNIX， Linux， Windows等）上建立全局資源管理系統(tǒng)，包括組管理、資源分配和并行文件系統(tǒng)等。這樣，通過虛擬機(jī)管理可充分利用其它結(jié)點(diǎn)機(jī)上的主存來替代本地磁盤訪問。 目前，對于機(jī)群系統(tǒng)的研究除了以上幾個方面之外，人們關(guān)心的還有網(wǎng)絡(luò)數(shù)據(jù)的傳送方式，比如廣播、多播、全局高效操作的實(shí)現(xiàn)、并行算法模型的建立以及并行 I/O等。 2. 機(jī)群系統(tǒng)中的通信技術(shù) 開發(fā)高性能機(jī)群系統(tǒng)的一項重要的技術(shù)就是研究高速通信技術(shù)，提高網(wǎng)絡(luò)系統(tǒng)的帶寬。主要措施有以下幾個方面。 （ 1）采用新型高速網(wǎng)絡(luò)，提高網(wǎng)絡(luò)帶寬 隨著多媒體技術(shù)、實(shí)時網(wǎng)絡(luò)系統(tǒng)和大規(guī)模多處理機(jī)的發(fā)展，推動了網(wǎng)絡(luò)技術(shù)的發(fā)展，從而出現(xiàn)了許多新型高速網(wǎng)絡(luò)，比如快速以太網(wǎng)、 ATM、 Myri等。 ① 快速以太網(wǎng)：共享介質(zhì)的快速以太網(wǎng)帶寬為 100Mbps， 可用于機(jī)群系統(tǒng)連接，有利于提高系統(tǒng)的性能。但是這種類型原封不動地沿用了現(xiàn)有的載波偵聽技術(shù)（ CSMA/CD）， 使所有的設(shè)備都要共享 100Mbps的帶寬，這樣實(shí)際帶寬往往小于 100Mbps。 隨著開關(guān)技術(shù)的發(fā)展，基于開關(guān)網(wǎng)絡(luò)的快速以太網(wǎng)產(chǎn)生，用于機(jī)群系統(tǒng)，能較大幅度地提高整個系統(tǒng)的聚合帶寬。如今的快速以太網(wǎng)的速率可達(dá) 1Gbps。 ② ATM： 是以 53個字節(jié)為信元（ Cell） 進(jìn)行數(shù)據(jù)傳輸?shù)男滦屯ㄐ啪W(wǎng)絡(luò)，在端到端之間采用 “虛擬電路連接 ”機(jī)制，而在網(wǎng)絡(luò)中采用高速分組交換技術(shù)。信息傳輸帶寬有 25Mbps、 100Mbps、 155Mbps和 622Mbps等。從理論上講， ATM不受網(wǎng)速限制，可在任何速度下操作，尤其適合于多媒體信息的傳輸。因此，為機(jī)群系統(tǒng)提供 了網(wǎng)絡(luò)支持。 ③ Myri： 是由 Myri公司推出的一種高速網(wǎng)絡(luò)，采用 MPP機(jī)中的開關(guān)交換技術(shù)、 Cutthrough路由技術(shù)和 8為數(shù)據(jù)傳送通道等，因而具有很高的網(wǎng)絡(luò)帶寬。物理鏈路提供一對 640Mbps的數(shù)據(jù)通道，最新資料顯示單向速度達(dá)到 ， 雙向總帶寬為 ； 在上層，比如 Myri的API（ 8KB數(shù)據(jù)包），數(shù)據(jù)傳輸率可達(dá) 250Mbps。 因此，也為機(jī)群系統(tǒng)提供了網(wǎng)絡(luò)支持。 （ 2）設(shè)計新的通信協(xié)議，降低通信時延 僅從鏈路層來看，上述網(wǎng)絡(luò)的傳送速率比傳統(tǒng)的以太網(wǎng)提高了許多，但是通信中網(wǎng)絡(luò)協(xié)議的開銷沒有降低，即協(xié)議層次多，數(shù)據(jù)拷貝頻繁，影響網(wǎng)絡(luò)實(shí)際傳送速率。另外，對于任何數(shù)據(jù)包的傳送都有一定的時間延遲，即通信延時，體現(xiàn)在兩個方面，一是數(shù)據(jù)包頭部和尾部識別，二是運(yùn)行網(wǎng)絡(luò)接口程序需要一定的時間。為了提高網(wǎng)絡(luò)帶寬，降低通信時延，一個重要的途徑就是修改或設(shè)計新的協(xié)議，以減少操作系統(tǒng)的額外操作。 可選方法有以下幾種： ① 在用戶空間實(shí)現(xiàn)通信協(xié)議：是在用戶空間構(gòu)建一個用戶態(tài)的協(xié)議層，以此旁路操作系統(tǒng)的影響，直接對網(wǎng)絡(luò)硬件設(shè)備進(jìn)行操作。這樣可減少數(shù)據(jù)拷貝的次數(shù)，減少系統(tǒng)調(diào)用時間，提高通信效率。 ② 精簡通信協(xié)議：對于傳統(tǒng)的通信協(xié)議和數(shù)據(jù)傳送方式，有些功能在機(jī)群系統(tǒng)中不再必要，因此可以精簡。一是精簡功能，二是精簡協(xié)議層次。 ③ 建立新的通信機(jī)制提高通信效率：已得到各方面人士的重視，其中 Active Message就是一種全新的通信機(jī)制，可有效提高通信系統(tǒng)的性能。主要特點(diǎn)有以下幾點(diǎn)： ⅰ 在傳送的消息（數(shù)據(jù)結(jié)構(gòu)）中增加兩項內(nèi)容，即消息處理程序指針和參數(shù)。這樣，當(dāng)消息到達(dá)目標(biāo)結(jié)點(diǎn)后可立即產(chǎn)生中斷調(diào)用，啟動消息處理程序；在從網(wǎng)卡上讀取消息之后，立即向發(fā)送端發(fā)一應(yīng)答信號。 ⅱ 消息處理方式與硬件處理方式相一致，順應(yīng)了網(wǎng)絡(luò)硬件的通信過程，二者結(jié)合可更有效地發(fā)揮網(wǎng)絡(luò)硬件的功能，提高通信效率。 ⅲ 是一種消息驅(qū)動的異步通信方式，可實(shí)現(xiàn)通信與計算重疊，有利于提高 CPU的效率。 ⅳ 簡化接收方的緩沖管理，在程序中指定數(shù)據(jù)存儲空間，接收到的數(shù)據(jù)直接存入指定區(qū)域，節(jié)省接收方的數(shù)據(jù)緩沖過程。 3. 并行程序設(shè)計環(huán)境 廣義地講，并行程序設(shè)計環(huán)境應(yīng)當(dāng)包括硬件平臺、操作系統(tǒng)、并行程序設(shè)計語言及相應(yīng)的編譯與工具軟件。狹義地講，僅指系統(tǒng)核心程序之上的工具軟件。這種軟件支持并行程序設(shè)計，包含充分的系統(tǒng)庫函數(shù)，且有一種或多種編程模型。目前用在分布式多處理機(jī)和機(jī)群系統(tǒng)中的并行程序設(shè)計環(huán)境主要有 PVM、 XPVM、 MPI、 EXPRESS、 Linda以及IPCE等。 （ 1） PVM PVM（ Parallel virtual machine） 是在 1989年由美國多家大學(xué)和研究機(jī)構(gòu)共同推出的一套并行計算軟件，支持多種系統(tǒng)結(jié)構(gòu)的計算機(jī)，比如工作站、并行處理機(jī)、向量機(jī)等；可支持的程序設(shè)計語言有 C、 C++和FORTRAN等。 在程序設(shè)計時， PVM支持用戶采用消息傳送方式編寫并行程序，編程模型可以是 SPMD或 MPMD， 計算以任務(wù)（ Task） 為單位，一個任務(wù)通常就是一個 UNIX進(jìn)程，由一個 Taskid來識別。另外還有以下功能與特點(diǎn)： ① 允許虛擬機(jī)通過多種網(wǎng)絡(luò)互聯(lián)，支持向虛擬機(jī)自動加載任務(wù)，而且任務(wù)間可以相互通信與同步，至于加載到哪一個結(jié)點(diǎn)機(jī)上，對用戶是透明的。 ② 支持應(yīng)用程序、結(jié)點(diǎn)機(jī)和網(wǎng)絡(luò)級的異構(gòu)性，支持應(yīng)用程序選擇最適合自己的結(jié)點(diǎn)機(jī)運(yùn)行。對于不同的數(shù)據(jù)表示格式，由 PVM在內(nèi)部自動轉(zhuǎn)換。 ③ 在 PVM系統(tǒng)中，各臺機(jī)器采用 TCP/IP協(xié)議，但是也支持結(jié)點(diǎn)機(jī)使用內(nèi)部的通信函數(shù)進(jìn)行通信。 ④ 支持多用戶多任務(wù)運(yùn)行，多個用戶可將系統(tǒng)配置成相互重疊的虛擬機(jī)，每個用戶可同時執(zhí)行多個應(yīng)用程序。 ⑤ 系統(tǒng)提供一組便于編程的通信原語，可實(shí)現(xiàn)一個任務(wù)向其它一個或者多個任務(wù)發(fā)送消息，編程與網(wǎng)絡(luò)接口分離。 ⑥ 具有容錯能力，當(dāng)發(fā)現(xiàn)一個結(jié)點(diǎn)出現(xiàn)故障時可自動從虛擬機(jī)中刪除。 （ 2） XPVM XPVM屬于 PVM的一部分，是 PVM的圖形控制臺和監(jiān)視器，提供PVM控制臺命令、信息圖形接口和幾個動態(tài)顯示圖，對 PVM程序的執(zhí)行進(jìn)行監(jiān)視，以支持并行程序的調(diào)試。具體來說，可用來配置 PVM系統(tǒng)，控制 PVM任務(wù)，對 PVM任務(wù)進(jìn)行監(jiān)視。為完成這些工作， XPVM提供了 5個動態(tài)顯示圖形，即網(wǎng)絡(luò)顯示圖、空間 時間顯示圖、利用率顯示圖、調(diào)用跟蹤顯示圖及任務(wù)輸出顯示圖。這樣，即可方便用戶使用。 （ 3） MPI MPI（ Message passing interface） 是一個新的消息傳輸標(biāo)準(zhǔn)，由MPI委員會于 20世紀(jì) 90年代初推出，可用于大多數(shù)并行機(jī)、機(jī)群系統(tǒng)和異構(gòu)性網(wǎng)絡(luò)環(huán)境，支持機(jī)群通信（ Collective munication）， 支持用戶使用 C和 FORTRAN語言編程，編程模型為 SPMD， 編程過程比 PVM容易。其特點(diǎn)有以下幾點(diǎn)： ① 提供緩沖區(qū)管理函數(shù)，可由用戶決定是由系統(tǒng)對發(fā)送 /接收緩沖區(qū)實(shí)施管理，還是由用戶自己管理，以提高管理效率和安全性。 ② 能運(yùn)行于異構(gòu)型網(wǎng)絡(luò)環(huán)境中，并提供一些結(jié)構(gòu)和函數(shù)，允許用戶構(gòu)造自己的復(fù)雜數(shù)據(jù)類型，以利于通信。 ③ 通過通信上下文（ Context） 提供通信的安全性，所有的通信都在一個上下文中進(jìn)行。接收操作只能接收到同一上下文中的消息，不會與其它上下文中的消息相混淆。 ④ 實(shí)現(xiàn)了兩個任務(wù)之間的多種通信方式，包括阻塞式、無阻塞式通信，標(biāo)準(zhǔn)式、同步式、緩沖式和預(yù)備式發(fā)送等操作。 ⑤ 實(shí)現(xiàn)了組內(nèi)所有任務(wù)之間的通信、數(shù)據(jù)交換和處理。在機(jī)群中提供豐富的操作函數(shù)，且允許用戶自定義函數(shù)，把通信與數(shù)據(jù)處理結(jié)合起來。 ⑥ 在出錯處理方面，由于 MPI提供可靠的數(shù)據(jù)傳輸能力，因此沒有提供處理通信或處理器失敗的機(jī)制，只提供程序級錯誤處理。而且程序執(zhí)行不需要任何守護(hù)進(jìn)程，各并行任務(wù)之間的消息傳輸是直接進(jìn)行，因此比PVM效率高。 （ 4） Express Express是美國 Parasoft公司推出的并行程序設(shè)計環(huán)境，可在多種硬件環(huán)境下運(yùn)行。 Express系統(tǒng)傾向于上層程序設(shè)計，而把許多與機(jī)器直接相關(guān)的細(xì)節(jié)隱含到 Express函數(shù)中，因此支持多種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，支持多種處理機(jī)間的不同連接方式，支持 C和 FORTRAN編程語言，支持 HostNode和Cubix編程模型。 在 HostNode編程模型中，首先要編寫在 Host上運(yùn)行的控制程序，然后再編寫結(jié)點(diǎn)程序。系統(tǒng)運(yùn)行時由控制程序負(fù)責(zé)各結(jié)點(diǎn)程序的運(yùn)行，同時完成數(shù)據(jù)回收和 I/O等操作。 Exoress提供多種處理機(jī)間的通信原語，除了常用的同步 /異步通信之外，還提供廣播及多重接收函數(shù)。而且這些函數(shù)還可用于 I/O服務(wù)。 （ 5） Linda Linda是美國耶魯大學(xué)與計算機(jī)協(xié)會共同研制的用于實(shí)現(xiàn)并行程序設(shè)計且與機(jī)器無關(guān)的語言環(huán)境，可運(yùn)行在共享存儲器多處理機(jī)、分布式存儲器多處理機(jī)及機(jī)群系統(tǒng)上。它是對傳統(tǒng)的程序設(shè)計語言（比如 C或 FORTRAN）進(jìn)行擴(kuò)展，增加函數(shù)，使之能夠進(jìn)行并行程序設(shè)計。將 Linda映射到其它程序設(shè)計語言上，即形成可并行計算的語言，比如 CLinda和 FORTRANLinda， 以此支持并行程序設(shè)計。