【正文】 簡化收集的性能數(shù)據(jù)的復(fù)雜性以便用戶容易評估。因此 為用戶產(chǎn)生應(yīng)用優(yōu)化的指導(dǎo)是關(guān)鍵。用戶對應(yīng)用的優(yōu)化策略建議在下一個優(yōu)化階段實現(xiàn)。當用戶 經(jīng)過評估 對應(yīng)用的性能感到滿意 并且不需要進一步的優(yōu)化時， 可以 摒棄 插樁 ，未插樁應(yīng)用的執(zhí)行性能被接受。主要通過具有適當 選項的 Scalasca命令來使用。 圖 Scalasca性能分析工作流程 在收集性能數(shù)據(jù)之前，目標應(yīng)用程序需要被插樁。在多數(shù)系統(tǒng)上，這件工作可以使用編譯支持自動完成。當在并行機上執(zhí)行插樁后的代碼時，用戶可以產(chǎn)生一個含有每個函數(shù)調(diào)用路徑的聚合信息的 匯總報表 （也稱作 profile），此外，可以通過記錄獨立的運行時事件產(chǎn)生一個事件跟蹤，之后可以由此產(chǎn)生 一個 profile 或者時間序的可視化視圖。由于跟蹤事件往往是很大的，而且不 恰當 的插樁和測量 配置將使3 結(jié)果分析打折，因此這一步被強烈推薦。程序終止之后，Scalasca將跟蹤文件重新裝入內(nèi)存，并且使用同應(yīng)用程序運行時一樣多的 CPU 數(shù)并行地分析它們。 匯總 和模式報 表 都含有每個函數(shù)調(diào)用 路徑的性能度量及可以在圖形資源管理器中相互探究的系統(tǒng)資源（見圖 ）。 4 2 入門指南 本章介紹 Scalasca 工具集在實例應(yīng)用分析基礎(chǔ)方面的使用。 Scalasca的使用 包括 三個階段：程序插樁、執(zhí)行測量與分析 、 分析報告審查。這些選項是： 1. scalasca –instrument 用于插入 Scalasca 測量系統(tǒng) 的 調(diào)用到應(yīng)用程序的代碼中。 2. scalasca –analyze 用于控制應(yīng)用程序執(zhí)行期間的測量環(huán)境，并在跟蹤使能時自動執(zhí)行測量完成后的跟蹤分析。 3. scalasca –examine 用于 處理測量產(chǎn)生的運行時 匯總報表 和 /或分析研究跟蹤事件。 執(zhí)行沒有參數(shù)的 scalasca 命令，或執(zhí)行 scalasca –h 命令，可以打開 Scalasca 快速參考（如果存在相應(yīng)的 pdf閱讀器），以獲得簡要的 Scalasca的使用 總結(jié) 。 了一個完整的工作流 程 例子。 有三種插樁方法：編譯時插入的自動插樁方法（ ）、半自動 ―POMP‖插樁方法（ ）、人工插樁方法（ ）。 對于單純 OpenMP或混合 MPI/OpenMp應(yīng)用，或者使用半自動 ―POMP‖方法時， 內(nèi)部使用 OPARI源代碼插樁器 。包括： ? 并行編譯（即使用 gmake j） ? 單一目錄下的多應(yīng)用編譯 ? 資源分布在多個目錄中的應(yīng)用 通過 scalasca –instrument命令， Scalasca 插樁器 處理用戶必需的全部插樁、 MPI 及 OpenMP 函數(shù)。 如，要對由 2個源文件 和 myprog插樁，將下列組合編譯和 連接的命令 mpif90 o myprog 替換為 scalasca instrument mpif90 o myprog 注意： 插樁器必需和連接命令一起使用。 如果使用 Makefile，定義一個宏 PREP是很方便的，它可以放在編譯和連接命令的前面。 make PREP=scalasca instrument 缺省情況（命令行沒有指定 PREP）下，保持完全優(yōu)化且沒有插樁。 運行時測量收集與分析 Scalasca測量收集與分析使用 scalasca –analyze命令，包括如下步驟： ? 測量配置 ? 執(zhí)行應(yīng)用程序 ? 測量數(shù)據(jù)收集 ? 自動跟蹤分析 （如果已配置） 要想對已插樁的可執(zhí)行程序進行性能測量，目標應(yīng)用程序的執(zhí)行命令必須具有 scalasca –analyze命令前綴。 每次測量 試驗 都使用一個唯一的目錄， 測量開始時該目錄必須是不存在的，如果 指定 的目錄存在則測量終止。該檔案目錄名具有 epik_前綴 ，其位置可以在 Scalasca命令中使用 e path選項或通過改變配置變量來明確指定。缺省情況下，運行時摘要提供一個匯總報表，包括每個進程每個調(diào)用路徑的時間開銷和執(zhí)行次數(shù)。對于 OpenMP測量， OpenMP專有的參數(shù)被計算。如果需要硬件計數(shù)器 度量參數(shù) ，還可以將其包括在匯總報表中。為了收集跟蹤事件數(shù)據(jù) 作為 測量的一部分，使用 scalasca analyze –t 命令（或者設(shè)置配置變量EPK_TRACE=1） 。需要注意的是，對于純 OpenMP代碼，自動跟蹤分析還不能提供一個像運行時摘要那樣的更詳細的等待狀態(tài)分析。 scalasca analyze –n預(yù)覽模式可以用于顯示（但不實際執(zhí)行） 測量和分析運行的命令，結(jié)合幾個檢查來測試成功的可能性。 在出現(xiàn)問題但沒有顯式報告錯誤或警告時，執(zhí)行插樁應(yīng)用前設(shè)置配置變量 EPK_VERBOSE=1，查看 Scalasca 測量系統(tǒng)的控制消息，幫助追蹤問題所在或給 Scalasca 實現(xiàn)者更詳細的問題報告（由于消息量可能很大，使用一個小的、適當短的執(zhí)行配置）。一些機群環(huán)境中，在遠程節(jié)點上執(zhí)行子作業(yè)時不會自動傳輸環(huán)境，可能需要在批作業(yè)提交腳本中明確設(shè)置和輸出。使用 scalasca –examine命令可以處理和審查這些報表。對 于 已經(jīng)處理過的 試驗 檔案 、或者用 CUBE文件 作為 參數(shù)執(zhí)行 scalasca –examine命令，閱讀器立即運 行。 scalasca examine s epik_title 該評價表來自 cube3_score實用程序， 提供測量包括的不同區(qū)域的分類以及需要的跟蹤緩沖區(qū)容量、跟蹤記錄的總體積（ total_tbc）以及處理的最大跟蹤記錄的體積（ max_tbc）的估算，這可用于為后續(xù)跟蹤測量指定一個合適的 ELG_BUFFER_SIZE。 cube3 epik_title cube3 file.cube 但是要 記住，這種情況沒有執(zhí)行后處理工作，因此僅是 Scalasca分析的子集及參數(shù)的顯示。為更有效地使用 GUI，你還應(yīng)該閱讀隨 Scalasca 發(fā)布提供的 CUBE3手冊。先進的數(shù)據(jù)模型獨立于顯示的詳細的性能屬性。左側(cè)的畫板執(zhí)行程序的性能屬性，中間畫板顯示應(yīng)用的調(diào)用樹或相應(yīng)的 profile，右側(cè)的樹顯示構(gòu)成機器的系 統(tǒng)層級、計算節(jié)點、進程、線程和 應(yīng)用的進程或線程的拓撲視圖。參數(shù)值的顏色取決于占總值（ root）或指定的其它參考值的比例。這將產(chǎn)生如下影響：該節(jié)點擁有的參數(shù)值（如執(zhí)行時間） 將被細分為它的更小的成分。選擇一個調(diào)用路徑（調(diào)用樹中的一個節(jié)點）后，系統(tǒng)樹顯示整個本地系統(tǒng)的調(diào)用樹的性能屬性的分布。通過展開或收縮樹中的節(jié)點，可以以不同的 粒度級觀察分析結(jié)果。更多的信息還可以從下列網(wǎng)站得到： CUBE3還提供了一些操作分析報表的命令行代數(shù)工具（這些工具目前僅能在 試驗 檔案目錄中的CUBE文件上工作）。使用 cube3_diff計算兩個分析報告間的差異。這對后面消除不感興趣的段（如初始化）和重點關(guān)注選中的可執(zhí)行程序部分的分析可能特別有用。 cube3_score工具可被用于根據(jù)匯總或跟蹤分析報表來估算跟蹤緩沖區(qū) 的 需求。 cube3_score –r可以檢查輸出詳細的區(qū)域，以識別影響測量的頻繁執(zhí)行的區(qū)域及 分析部分 沒有 被 考慮的值 。從測量中消除某些 函數(shù) 可以節(jié)省跟蹤緩沖容量 ，這可通過提供一個過濾器文件來實現(xiàn)，該文件列出了被排除的函數(shù)的函數(shù)名 。 一個完整的工作流程例子 前面的章節(jié)介紹了 Scalasca的一般用法。下述試驗使用的環(huán)境是 IBM Blue Gene/P，給出的命令和輸出可能與你的系統(tǒng)不同。當你缺少對應(yīng)用的詳細了解并且需要識別代碼的熱點時， 這通常是 最好的首選。 scalasca instrument mpixlc c scalasca instrument mpixlc o 現(xiàn)在，必須 在系統(tǒng)中執(zhí)行插過樁的二進制文件。因此， 必須在一個批處理腳本中提供對 Scalasca命令的調(diào)用，當請求的資源有效時它將被調(diào)度執(zhí)行。但是任何批處理腳本的公共部分是一個段，在這里可以放置所有將被執(zhí)行的 shell命令。 scalasca analyze mpirun mode vn np 128 ./ 當批處理腳 本被執(zhí)行時要確保 Scalasca命令是可訪問的，如需要的話，可修改 PATH。 Scalasca分析器管理幾個幫助應(yīng)用測量的控制變量， Scalasca分析器的缺省行為是創(chuàng)建一個匯總文件，而不是創(chuàng)建詳細的事件跟蹤，由來自 EPIK測量系統(tǒng)的初始化消息指示。本例中，自動產(chǎn)生的測量目錄名是epik_sor_vn128_sum，指示在 Blue Gene上以虛擬節(jié)點模式 (mode vn)用 128(np 128)個進程執(zhí)行作業(yè) ，后綴 _sum指運行時摘要試驗。 scalasca examine epik_sor_vn128_sum INFO: Postprocessing runtime summarization report ... INFO: Displaying ./epik_sor_vn128_sum/ ... 圖 給出了 Scalasca 報表瀏覽器 CUBE3 的屏幕截圖，打開的是 SOR 的匯總分析報表。如頻繁執(zhí)行的短函數(shù)可能導(dǎo)致重8 大的干擾，應(yīng)該禁止跟蹤：它們 需要 在下一步使用跟蹤分析 進行 研究之前被排除 ，并引起重視。事件流中事件的數(shù)量決定了在內(nèi)存中保存 流所需要的緩沖區(qū)大小。 應(yīng)用程序運行期間，當整個事件流大于內(nèi)存緩沖區(qū)時，必須將它們刷新到磁盤。 Scalasca 測量系統(tǒng)使用一個每進程或線程 10MB 的缺省值用于事件跟蹤，當該值不合適時可以調(diào)整以減少或消除內(nèi)部緩沖的刷新。大的跟蹤還需要大量的磁盤空間（至少是臨時 的，直到分析完成），并且讀寫磁盤會相對變慢。 為了估算跟蹤測量的緩沖需求， scalasca examine –s將產(chǎn)生一個需要的最大字節(jié)數(shù)估計值的簡短匯總。列 max_tbc 是為每個進程確定的以字節(jié)為單位的跟蹤緩沖區(qū)需求總量。為了防止 刷新，可以增加緩沖區(qū)的大小，或者從測量中剔除一些特定函數(shù)。 MPI類型是對 MPI庫的函數(shù)調(diào)用 ； OMP 類型是 OpenMP 區(qū)域或?qū)?OpenMP API的調(diào)用；直接或間接調(diào)用 MPI或 OpenMP的路徑上的用戶程序例程對理解并行程序的通信和同步行為能夠提供重要的上下文信息，標記為 COM類型；其它純本地計算的例程標記為 USR類型。COM 類型的例程也可以被過濾，盡管這通常是不 合適 的， 因為這樣會消除上下文信息。 通過比較跟蹤緩沖區(qū)需求和特定組例程上的時間開銷，初始評分報表將 會顯示出過濾會帶來什么樣的預(yù)期好處。這可直接在已經(jīng)進行了后處理的匯總報表上使用帶命令行選項 r的 cube3_score命令 來完成。） 因為 SOR實例在單個進程上所需的最大緩沖區(qū) 215KB是合適的，這種情況不需要過濾。因此，當使用基于編譯器的自動插樁時，被過濾掉的函數(shù)上的測量開銷通?？赡懿粫煌耆?。過濾器文件還可以在 scalasca –analyze命令中使用 f filter_file來指定。 當按照測量開銷和空間需求最小 化原則 對 Scalasca測量系統(tǒng)的所有選項設(shè)置后，可以向 scalasca –analyze命令傳遞 t選項，來執(zhí)行被插樁應(yīng)用的一次新的運行，這將激活 Scalasca測量系統(tǒng)的跟蹤模式，并在應(yīng)用結(jié)束后自動啟動搜索低效通信行為模式的并行后處理分析器。測量關(guān)閉時每個 MPI rank 的一個獨立跟蹤文件被直接寫入子目錄中，并自動啟動并行跟蹤分析器SOUT 分析這些跟蹤文件，產(chǎn)生一個分析報表 ，可以使用同匯總試驗相同的命令和工具來審查該分析報表。因此，跟蹤分析可以揭示低效執(zhí)行行為的細節(jié)。由于測量結(jié)束時的額外文件 I/O和分析，使得批作業(yè)的運行時間也相應(yīng)增加。在跟蹤模式， Scalasca 的缺省行為是創(chuàng)建一個運行時匯總報表（存儲為 ）及跟蹤分析報表（存儲為 ）。 12 3. 應(yīng)用插樁 Scalasca提供了幾種可能方法為用戶的應(yīng)用代碼插樁。 此外，如果使用基于編譯器的自動插樁，Scalasca提供了一種從測量中排除已插樁的用戶例程的過濾能力（ ）。為了啟用它，應(yīng)用程序必須連接 EPIK API（或混合的）測量庫及 MPI專用庫。 ? OpenMP 指示 與 API調(diào)用 Scalasca 測量系統(tǒng)使用 OPARI 工具為 OpenMP 結(jié)構(gòu)插樁。此外，應(yīng)用程序必須 連接 OpenMP（或混合的）測量庫 。 通常，僅需在 Makefile 中為 $(CC)或 $(MPICC)（或與之等價的）定義前綴。 在沒有 Scalasca插樁器的情況下編譯時， kconfig命令 可被用于簡單地確定合適的連接操作和庫： kconfig [mpi|omp|hybrid] [for] [user] [32|64] libs mpi,、 omp或 –hybrid選項 用于選擇 期望 MPI、 OpenMP 或混合 MPI/OpenMP測量支持。指定 user 選項 可使 EPIK手動用戶插樁 API 有效。 注意： Scalasca的個例安裝可能沒有提供全部的測量配置。 kconfig [for] cflags 或者，使用戶插樁宏有效： kconfig [for] user cflags Scalasca支持多種插樁類型用于用戶級源代碼例程和任意區(qū)域，除全自動 MPI及 OpenMP 插樁外，匯總在下表中： T