【正文】 系統(tǒng)上提供 人工和自動插樁的混合機制。當(dāng)在并行機上執(zhí)行插樁后的代碼時，用戶可以產(chǎn)生一個含有每個函數(shù)調(diào)用路徑的聚合信息的 匯總報表 （也稱作 profile），此外，可以通過記錄獨立的運行時事件產(chǎn)生一個事件跟蹤，之后可以由此產(chǎn)生 一個 profile 或者時間序的可視化視圖。運行時 概括能力 對獲取性能行為概觀及下一次的優(yōu)化插樁都是非常有用的。由于跟蹤事件往往是很大的，而且不 恰當(dāng) 的插樁和測量 配置將使3 結(jié)果分析打折，因此這一步被強烈推薦。 當(dāng)跟蹤被激活，每個進程產(chǎn)生一個包含它的所有本地進程事件記錄的跟蹤文件。程序終止之后，Scalasca將跟蹤文件重新裝入內(nèi)存，并且使用同應(yīng)用程序運行時一樣多的 CPU 數(shù)并行地分析它們。在分析時， Scalasca 搜索 指示等 待狀態(tài)的特征模式及相關(guān)的性能特性，按類別 對 找到的實例 分類 并量化它們的重要性，分析結(jié)果是一個與 匯總報表 結(jié)構(gòu)類似的模式分析報 表 ，但對高級通信和低效同步進行了濃縮。 匯總 和模式報 表 都含有每個函數(shù)調(diào)用 路徑的性能度量及可以在圖形資源管理器中相互探究的系統(tǒng)資源（見圖 ）。自動分析的另一種選擇是，轉(zhuǎn)換跟蹤事件并使用諸如 Paraver和 Vampir的第三方跟蹤瀏覽器進行分析研究，以發(fā)揮它們強大的時間序可視化 優(yōu)勢 和豐富的統(tǒng)計功能。 4 2 入門指南 本章介紹 Scalasca 工具集在實例應(yīng)用分析基礎(chǔ)方面的使用。 將指出最 突出的特點并給出后面章節(jié)更深入的相關(guān)信息的參照。 Scalasca的使用 包括 三個階段：程序插樁、執(zhí)行測量與分析 、 分析報告審查。 Scalasca命令提供調(diào)用 skin、 scan和 square等相關(guān)命令的選項。這些選項是： 1. scalasca –instrument 用于插入 Scalasca 測量系統(tǒng) 的 調(diào)用到應(yīng)用程序的代碼中。 有自動、半自動和連接預(yù)插樁庫三種方式。 2. scalasca –analyze 用于控制應(yīng)用程序執(zhí)行期間的測量環(huán)境，并在跟蹤使能時自動執(zhí)行測量完成后的跟蹤分析。 Scalasca測量系統(tǒng)支持運行時 匯 總 和 /或事件跟蹤與分析， 也 可選擇包括硬件計數(shù)器信息。 3. scalasca –examine 用于 處理測量產(chǎn)生的運行時 匯總報表 和 /或分析研究跟蹤事件。并啟動 Scalasca分析報告審查瀏覽器 CUBE3。 執(zhí)行沒有參數(shù)的 scalasca 命令，或執(zhí)行 scalasca –h 命令，可以打開 Scalasca 快速參考（如果存在相應(yīng)的 pdf閱讀器），以獲得簡要的 Scalasca的使用 總結(jié) 。 以下三節(jié)給出 這三個選項最核心的綜述，以及在性能分析的相關(guān)步驟如何使用它們。 了一個完整的工作流 程 例子。 插樁 為了使用 Scalasca 測量系統(tǒng)進行測量，用戶應(yīng)用程序需要被插樁，即在應(yīng)用程序運行時的特定關(guān)鍵點（事件）必須插入專門的測量調(diào)用。 有三種插樁方法：編譯時插入的自動插樁方法（ ）、半自動 ―POMP‖插樁方法（ ）、人工插樁方法（ ）。此外如果 Scalasca已經(jīng)配置，還可以使用 PDTOOLKIT插樁器進行自動源代碼插樁（ ）。 對于單純 OpenMP或混合 MPI/OpenMp應(yīng)用，或者使用半自動 ―POMP‖方法時， 內(nèi)部使用 OPARI源代碼插樁器 。閱讀 作為 Scalasca文檔一部分的 OPEN_ISSUES文件的 OPARI節(jié)，來了解當(dāng)前的限制及如何圍繞它工作。包括： ? 并行編譯（即使用 gmake j） ? 單一目錄下的多應(yīng)用編譯 ? 資源分布在多個目錄中的應(yīng)用 通過 scalasca –instrument命令， Scalasca 插樁器 處理用戶必需的全部插樁、 MPI 及 OpenMP 函數(shù)。 因此，構(gòu)建應(yīng)用的編譯和連接命令應(yīng)該具有 ―scalasca –instrument‖前綴（在 Makefile中）。 如，要對由 2個源文件 和 myprog插樁，將下列組合編譯和 連接的命令 mpif90 o myprog 替換為 scalasca instrument mpif90 o myprog 注意： 插樁器必需和連接命令一起使用。 雖然并不是所有的 object 文件都需要插樁， 并且僅 對 包含5 MPI和 /或 OpenMP代碼的源模塊 插樁 往往已足夠。 如果使用 Makefile，定義一個宏 PREP是很方便的，它可以放在編譯和連接命令的前面。 MPICC = $(PREP) mpicc MPICXX = $(PREP) mpicxx MPIF90 = $(PREP) mpif90 使用下面的命令可以很 容易地 產(chǎn)生一個程序的插樁版本。 make PREP=scalasca instrument 缺省情況（命令行沒有指定 PREP）下，保持完全優(yōu)化且沒有插樁。 盡管自動插樁通常很方便，但它可能導(dǎo)致太多或太破碎的測量，可以使用選擇插樁或測量過濾（見 ）。 運行時測量收集與分析 Scalasca測量收集與分析使用 scalasca –analyze命令，包括如下步驟： ? 測量配置 ? 執(zhí)行應(yīng)用程序 ? 測量數(shù)據(jù)收集 ? 自動跟蹤分析 （如果已配置） 要想對已插樁的可執(zhí)行程序進行性能測量，目標(biāo)應(yīng)用程序的執(zhí)行命令必須具有 scalasca –analyze命令前綴。 scalasca analyze [options] $MPIEXEC $MPI_FLAGS target [target args] 對于非 MPI（單純的 OpenMP）應(yīng)用，應(yīng)忽略 MPI運行命令及相關(guān)的 選項 。 每次測量 試驗 都使用一個唯一的目錄， 測量開始時該目錄必須是不存在的，如果 指定 的目錄存在則測量終止。每個 EPIK 測量檔案目錄的 缺省名依據(jù)目標(biāo)可執(zhí)行應(yīng)用的名字、運行配置（即指定的處理器數(shù)及 OMP_NUM_THREADS）以及測量配置來創(chuàng)建。該檔案目錄名具有 epik_前綴 ，其位置可以在 Scalasca命令中使用 e path選項或通過改變配置變量來明確指定。 測量完成后，測量檔案目錄中包含若干記錄文件及一個或多個分析報告 。缺省情況下，運行時摘要提供一個匯總報表，包括每個進程每個調(diào)用路徑的時間開銷和執(zhí)行次數(shù)。對于 MPI 測量包括MPI時間、消息和文件 I/O的統(tǒng)計。對于 OpenMP測量， OpenMP專有的參數(shù)被計算?；旌?MPI/OpenMP包含兩個參數(shù)集合。如果需要硬件計數(shù)器 度量參數(shù) ，還可以將其包括在匯總報表中。 也可以收集事件跟蹤數(shù)據(jù) 作為 測量的一部分，為每個進程產(chǎn)生一個 EPILOG跟蹤文件。為了收集跟蹤事件數(shù)據(jù) 作為 測量的一部分，使用 scalasca analyze –t 命令（或者設(shè)置配置變量EPK_TRACE=1） 。這樣，在測量完成后會自動啟動跟蹤分析。需要注意的是，對于純 OpenMP代碼，自動跟蹤分析還不能提供一個像運行時摘要那樣的更詳細(xì)的等待狀態(tài)分析。當(dāng)然，你可能仍然希望收集跟蹤以便在圖形跟蹤瀏覽器中進行可視化顯示和研究。 scalasca analyze –n預(yù)覽模式可以用于顯示（但不實際執(zhí)行） 測量和分析運行的命令，結(jié)合幾個檢查來測試成功的可能性。額外的說明信息（通過 –v）可能也是有用的，特別是測量和分析不成功時。 在出現(xiàn)問題但沒有顯式報告錯誤或警告時，執(zhí)行插樁應(yīng)用前設(shè)置配置變量 EPK_VERBOSE=1，查看 Scalasca 測量系統(tǒng)的控制消息，幫助追蹤問題所在或給 Scalasca 實現(xiàn)者更詳細(xì)的問題報告（由于消息量可能很大，使用一個小的、適當(dāng)短的執(zhí)行配置）。 當(dāng)在機群環(huán)境中使用環(huán)境變量時，確保這些環(huán)境變量在機群的所有節(jié)點的所 有應(yīng)用進程具有相同的值。一些機群環(huán)境中，在遠(yuǎn)程節(jié)點上執(zhí)行子作業(yè)時不會自動傳輸環(huán)境，可能需要在批作業(yè)提交腳本中明確設(shè)置和輸出。 6 分析報告審查 自動分析的結(jié)果被存儲成 試驗 檔案目錄中的一個或多個報表。使用 scalasca –examine命令可以處理和審查這些報表。 scalasca examine epik_title 在 運行 CUBE3 報表閱讀器之前，已在第一時間完成了檢查檔案的后處理工作。對 于 已經(jīng)處理過的 試驗 檔案 、或者用 CUBE文件 作為 參數(shù)執(zhí)行 scalasca –examine命令，閱讀器立即運 行。 可以不運行閱讀器來獲得一個短小的文本評價表。 scalasca examine s epik_title 該評價表來自 cube3_score實用程序， 提供測量包括的不同區(qū)域的分類以及需要的跟蹤緩沖區(qū)容量、跟蹤記錄的總體積（ total_tbc）以及處理的最大跟蹤記錄的體積（ max_tbc）的估算，這可用于為后續(xù)跟蹤測量指定一個合適的 ELG_BUFFER_SIZE。 CUBE3同樣能夠 用于一個 試驗 檔案或 CUBE文件。 cube3 epik_title cube3 file.cube 但是要 記住，這種情況沒有執(zhí)行后處理工作，因此僅是 Scalasca分析的子集及參數(shù)的顯示。 CUBE3的使用 下面是 CUBE3 用法的一個簡短介紹。為更有效地使用 GUI，你還應(yīng)該閱讀隨 Scalasca 發(fā)布提供的 CUBE3手冊。 CUBE3是一個通用用戶接口，它顯示和瀏覽并行應(yīng)用的性能和調(diào)試信息。先進的數(shù)據(jù)模型獨立于顯示的詳細(xì)的性能屬性。 CUBE3主窗口由 3個 包含樹形顯示或交替式分析報表圖形視圖的畫板構(gòu)成。左側(cè)的畫板執(zhí)行程序的性能屬性，中間畫板顯示應(yīng)用的調(diào)用樹或相應(yīng)的 profile，右側(cè)的樹顯示構(gòu)成機器的系 統(tǒng)層級、計算節(jié)點、進程、線程和 應(yīng)用的進程或線程的拓?fù)湟晥D。所有的樹節(jié)點用參數(shù)值和顏色框標(biāo)識以幫助識別熱點。參數(shù)值的顏色取決于占總值（ root）或指定的其它參考值的比例。 在性能屬性或者調(diào)用路徑上單擊選擇相應(yīng)節(jié)點。這將產(chǎn)生如下影響：該節(jié)點擁有的參數(shù)值（如執(zhí)行時間） 將被細(xì)分為它的更小的成分。就是說，選擇一個性能屬性后，中間畫板顯示整個調(diào)用樹的分布。選擇一個調(diào)用路徑（調(diào)用樹中的一個節(jié)點）后，系統(tǒng)樹顯示整個本地系統(tǒng)的調(diào)用樹的性能屬性的分布。單擊樹節(jié)點左邊的圖標(biāo)展開或收縮該節(jié)點。通過展開或收縮樹中的節(jié)點，可以以不同的 粒度級觀察分析結(jié)果。 為了獲取性能屬性的準(zhǔn)確定義，按鼠標(biāo)右鍵，選擇與性能屬性關(guān)聯(lián)的上下文菜單中的 Online Description，從 Info菜單項可以得到 簡要 描述。更多的信息還可以從下列網(wǎng)站得到： CUBE3還提供了一些操作分析報表的命令行代數(shù)工具（這些工具目前僅能在 試驗 檔案目錄中的CUBE文件上工作）?？梢允褂?cube3_mean 或 cube3_merge平均或 合并多個分析報告。使用 cube3_diff計算兩個分析報告間的差異。使用 cube3_cut 可以修剪指定的調(diào)用樹或 /和指定一個新的調(diào)用樹根（ root）節(jié)點，而產(chǎn)生一個新的分析報表。這對后面消除不感興趣的段（如初始化）和重點關(guān)注選中的可執(zhí)行程序部分的分析可能特別有用。這些工具 中的每一個都產(chǎn)生一個新的 CUBE格式的報表 作為 輸出。 cube3_score工具可被用于根據(jù)匯總或跟蹤分析報表來估算跟蹤緩沖區(qū) 的 需求。如果物理內(nèi)存充足，可以 將其指定為配置變量 ELG_BUFFER_SIZE的值用于 后續(xù)的跟蹤收集 。 cube3_score –r可以檢查輸出詳細(xì)的區(qū)域，以識別影響測量的頻繁執(zhí)行的區(qū)域及 分析部分 沒有 被 考慮的值 。如沒有 OpenMP7 及 MPI 操作的區(qū)域通過選擇插樁和測量（見 節(jié)和 節(jié)）從后續(xù)試驗中排除可能是合適的。從測量中消除某些 函數(shù) 可以節(jié)省跟蹤緩沖容量 ，這可通過提供一個過濾器文件來實現(xiàn)，該文件列出了被排除的函數(shù)的函數(shù)名 。 使用 f filter_file選項可以評估可能的過濾器文件。 一個完整的工作流程例子 前面的章節(jié)介紹了 Scalasca的一般用法。 本節(jié)將通過 SOR（ solver kernel）實例分析 指導(dǎo)使用紅黑相間的 overrelaxation方法解算泊松方程。下述試驗使用的環(huán)境是 IBM Blue Gene/P，給出的命令和輸出可能與你的系統(tǒng)不同。 缺省的， Scalasca 使用基于編譯器的自動插樁特征 。當(dāng)你缺少對應(yīng)用的詳細(xì)了解并且需要識別代碼的熱點時， 這通常是 最好的首選。 SOR僅由一個源文件構(gòu)成，它可以使用下面 2條命令編譯和連接。 scalasca instrument mpixlc c scalasca instrument mpixlc o 現(xiàn)在，必須 在系統(tǒng)中執(zhí)行插過樁的二進制文件。在超級計算系統(tǒng)中，用戶通常必須提交他們的作業(yè)到批處理系統(tǒng)，并且不允許直接運行并行作業(yè)。因此， 必須在一個批處理腳本中提供對 Scalasca命令的調(diào)用，當(dāng)請求的資源有效時它將被調(diào)度執(zhí)行。 不同調(diào)度系統(tǒng)中批處理腳本的語法是不同的。但是任何批處理腳本的公共部分是一個段，在這里可以放置所有將被執(zhí)行的 shell命令。這里， Scalasca分析器的調(diào)用必須 放置在應(yīng)用執(zhí)行命令之前。 scalasca analyze mpirun mode vn np 128 ./ 當(dāng)批處理腳 本被執(zhí)行時要確保 Scalasca命令是可訪問的，如需要的話，可修改 PATH。在 Blue Gene系統(tǒng)上參數(shù) mode和 np是 mpirun的選項，其他的運行器將有不同的選項和語法。