【正文】 求意見稿中使用的案例，將隨著研究和試點(diǎn)評價的深入開展而進(jìn)行完善。考慮到《指南》的權(quán)威性和指導(dǎo)性，最終的《指南》可能會對案例進(jìn)行修改，甚至采用新的更加完善和適合的案例。此處僅僅為開發(fā)評價指標(biāo)提供示例。23 / 67項(xiàng)目從年月日開始生效，于年月日結(jié)束。項(xiàng)目總投入萬美元，其中世行實(shí)際貸款金額萬美元。項(xiàng)目包括個分項(xiàng)目（）：沈陽分項(xiàng)目、撫順分項(xiàng)目、鞍山分項(xiàng)目和技術(shù)援助（）分項(xiàng)目。沈陽、撫順、鞍山分項(xiàng)目都包含公共交通、交通管理、道路基礎(chǔ)設(shè)計和道路養(yǎng)護(hù)個分子項(xiàng)目（） 。具體資金使用如下表所示。項(xiàng)目實(shí)際使用經(jīng)費(fèi)統(tǒng)計表 單位：百萬美元分項(xiàng) 沈陽 鞍山 撫順 小計公共交通交通管理道路基礎(chǔ)設(shè)施道路維修養(yǎng)護(hù)技術(shù)援助先征費(fèi)合計注：截止到年月的項(xiàng)目經(jīng)費(fèi)實(shí)際使用情況數(shù)據(jù)來源：項(xiàng)目完工報告相關(guān)性開發(fā)相關(guān)性的評價指標(biāo)之前，要檢查項(xiàng)目目標(biāo)是否經(jīng)過修改，修改后的目標(biāo)是否得到批準(zhǔn)。如果項(xiàng)目目標(biāo)經(jīng)過修改且獲得批準(zhǔn)，那么應(yīng)以修改后的項(xiàng)目目標(biāo)來開發(fā)評價指標(biāo)。表 Error! No sequence specified. 相關(guān)性評價指標(biāo)開發(fā)以遼寧城市交通項(xiàng)目為例準(zhǔn)則 關(guān)鍵評價問題 評價指標(biāo)在評價之時，項(xiàng)目是否符合政府發(fā)展政策或優(yōu)先發(fā)展重點(diǎn)？項(xiàng)目與當(dāng)前城市交通發(fā)展政策的相符程度項(xiàng)目與當(dāng)時項(xiàng)目市城市交通發(fā)展問題的針對程度相關(guān)性項(xiàng)目是否針對當(dāng)?shù)氐膶?shí)際問題和需求？ 項(xiàng)目對當(dāng)前項(xiàng)目市城市交通發(fā)展需求的滿足程度效率針對效率的個關(guān)鍵評價問題，評價小組首先要明確項(xiàng)目的計劃和實(shí)際的實(shí)施周期、項(xiàng)目的資金預(yù)算及使用情況、項(xiàng)目預(yù)期要開展的和實(shí)際開展的活動、項(xiàng)目的預(yù)期和實(shí)際產(chǎn)出、項(xiàng)目是否測算其經(jīng)濟(jì)內(nèi)部收益率、如有預(yù)期值是多少。然后基于這些內(nèi)容開發(fā)評價指標(biāo)。24 / 67對于問題要盡量使用項(xiàng)目評估文件或設(shè)計文件中的產(chǎn)出目標(biāo)，如果評價小組認(rèn)為項(xiàng)目設(shè)計的產(chǎn)出目標(biāo)存在重大缺陷，無法對產(chǎn)出進(jìn)行客觀地衡量，可以設(shè)計新的產(chǎn)出目標(biāo)，但要與管理部門、項(xiàng)目單位協(xié)商，并考慮證據(jù)收集的難度和成本。同時，要在評價報告第章需要說明的事項(xiàng)中加以說明。表 Error! No sequence specified. 效率評價指標(biāo)開發(fā)以遼寧城市交通項(xiàng)目為例準(zhǔn)則 關(guān)鍵評價問題 評價指標(biāo)項(xiàng)目是否按照計劃的資金預(yù)算實(shí)施？ 項(xiàng)目資金使用與預(yù)算的一致性項(xiàng)目是否按照計劃的時間周期實(shí)施并完工？項(xiàng)目預(yù)期和實(shí)際的實(shí)施周期相符程度項(xiàng)目公共交通部分產(chǎn)出的實(shí)現(xiàn)程度 項(xiàng)目交通管理部分產(chǎn)出的實(shí)現(xiàn)程度 項(xiàng)目道路基礎(chǔ)設(shè)施部分產(chǎn)出的實(shí)現(xiàn)程度 項(xiàng)目道路維修養(yǎng)護(hù)部分產(chǎn)出的實(shí)現(xiàn)程度 項(xiàng)目是否實(shí)現(xiàn)了所有的預(yù)期產(chǎn)出？項(xiàng)目技術(shù)援助部分產(chǎn)出的實(shí)現(xiàn)程度 效率項(xiàng)目完工后是否達(dá)到預(yù)期的經(jīng)濟(jì)內(nèi)部收益率？ 項(xiàng)目經(jīng)濟(jì)內(nèi)部收益率（）的實(shí)現(xiàn)程度注：該項(xiàng)目包括公共交通、交通管理、道路基礎(chǔ)設(shè)施、道路維修養(yǎng)護(hù)和技術(shù)援助項(xiàng)活動，因此，針對這方面內(nèi)容設(shè)置產(chǎn)出指標(biāo)。效果開發(fā)效果評價指標(biāo)之前，要明確項(xiàng)目目標(biāo)和目標(biāo)受益群體是誰。對于問題要盡量使用項(xiàng)目評估文件或項(xiàng)目設(shè)計文件中的效果目標(biāo)。如果評價小組認(rèn)為項(xiàng)目設(shè)計的效果目標(biāo)存在重大缺陷，無法對目標(biāo)實(shí)現(xiàn)程度進(jìn)行客觀地衡量，可以設(shè)計新的效果目標(biāo)，但要與管理部門、項(xiàng)目單位協(xié)商，并考慮證據(jù)收集的難度和成本。同時，要在評價報告第章需要說明的事項(xiàng)中加以說明。本項(xiàng)目效果目標(biāo)分為若干個具體目標(biāo)（ ） ，并且每個具體目標(biāo)都設(shè)有評價指標(biāo)，那么可以將問題按具體目標(biāo)分解成若干個子問題，然后根據(jù)子問題設(shè)計效果評價指標(biāo)。25 / 67表 Error! No sequence 目為例準(zhǔn)則 關(guān)鍵評價問題 評價指標(biāo) 項(xiàng)目是否實(shí)現(xiàn)減少基礎(chǔ)設(shè)施瓶頸路段的目標(biāo)？交通走廊出行時間路面狀況維修養(yǎng)護(hù)預(yù)算 項(xiàng)目是否實(shí)現(xiàn)改進(jìn)道路維修養(yǎng)護(hù)投資狀況的目標(biāo)？ 維修養(yǎng)護(hù)平均費(fèi)用大氣質(zhì)量標(biāo)準(zhǔn)機(jī)動車尾氣排放控制戰(zhàn)略的制定 項(xiàng)目是否實(shí)現(xiàn)持續(xù)改善項(xiàng)目的投資環(huán)境的目標(biāo)？ 機(jī)動車尾氣排放控制戰(zhàn)略的采用和實(shí)施 對通過交通屏蔽線的各種交通模式的交通流量、出行時間和占有率進(jìn)行調(diào)查以衡量系統(tǒng)的運(yùn)營能力 項(xiàng)目是否實(shí)現(xiàn)提高道路系統(tǒng)的運(yùn)營效率和運(yùn)營安全的目標(biāo)？與行人和自行車有關(guān)的事故總數(shù)、總死亡人數(shù)及百分比年度補(bǔ)貼年均單位里程的運(yùn)營費(fèi)用每年客運(yùn)量 可運(yùn)營的公交數(shù)量 項(xiàng)目是否實(shí)現(xiàn)提高公交服務(wù)的效率和效果的目標(biāo)？營運(yùn)線路數(shù)量 項(xiàng)目是否實(shí)現(xiàn)了預(yù)期目標(biāo)？ 項(xiàng)目是否實(shí)現(xiàn)加強(qiáng)城市交通系統(tǒng)管理能力的目標(biāo)？當(dāng)?shù)啬芰Φ募訌?qiáng)和決策的改善效果項(xiàng)目的實(shí)際受益群體是否是項(xiàng)目的目標(biāo)受益群體？目標(biāo)受益群體覆蓋率可持續(xù)性 對于問題，評價小組要明確項(xiàng)目完工后的管理機(jī)構(gòu)和或運(yùn)行機(jī)構(gòu)有哪些，它們的機(jī)構(gòu)設(shè)置是否合理，人力資源是否充足、是否具備必需的管理和技術(shù)能力等。對于問題，評價小組要分析項(xiàng)目的哪些產(chǎn)出對項(xiàng)目持續(xù)發(fā)揮成效是關(guān)鍵的，比如對于高速公路項(xiàng)目，高速公路的維護(hù)和利用是保證項(xiàng)目發(fā)揮效益的關(guān)26 / 67鍵；對于扶貧項(xiàng)目，對貧困人口進(jìn)行持續(xù)地生產(chǎn)和勞動技能培訓(xùn)是項(xiàng)目實(shí)現(xiàn)扶貧效果的關(guān)鍵。對于問題，評價小組要明確項(xiàng)目制定的政策以及國家、行業(yè)和當(dāng)?shù)叵嚓P(guān)的政策有哪些，這些政策對項(xiàng)目持續(xù)運(yùn)行發(fā)揮什么作用，如果沒有這些政策，項(xiàng)目能否持續(xù)下去。對于問題，評價小組要考慮機(jī)構(gòu)獲得的經(jīng)費(fèi)等能否滿足項(xiàng)目運(yùn)行的各項(xiàng)成本支出。表 介紹可持續(xù)性的關(guān)鍵評價問題的指標(biāo)開發(fā)。表 Error! No sequence 通項(xiàng)目為例準(zhǔn)則 關(guān)鍵評價問題 評價指標(biāo)項(xiàng)目市市政道路養(yǎng)護(hù)處的人力資源和技術(shù)對道路持續(xù)養(yǎng)護(hù)的滿足程度項(xiàng)目的管理和或運(yùn)行機(jī)構(gòu)的設(shè)置、人力資源、技術(shù)能否滿足項(xiàng)目持續(xù)運(yùn)行的需要？ 項(xiàng)目市交管部門的人力資源和管理對持續(xù)開展交通管理的滿足程度道路基礎(chǔ)設(shè)施的持續(xù)利用程度 道路基礎(chǔ)設(shè)施維護(hù)的持續(xù)性項(xiàng)目的產(chǎn)出能否得到持續(xù)地提供、維護(hù)和利用？交通管理的持續(xù)性項(xiàng)目運(yùn)行所依賴的政策、制度能否得到持續(xù)地實(shí)施？項(xiàng)目所依賴的優(yōu)先發(fā)展公共交通政策的持續(xù)性可持續(xù)性項(xiàng)目財務(wù)是否可持續(xù)？ 項(xiàng)目收支情況 證據(jù)及其來源證據(jù)是用來測量評價指標(biāo)、回答關(guān)鍵問題、支持評價結(jié)論等的數(shù)據(jù)、事實(shí)和觀點(diǎn)。在開發(fā)評價指標(biāo)時就要考慮證據(jù)及其來源。評價小組要盡量收集高質(zhì)量的證據(jù)。高質(zhì)量的證據(jù)具備以下特點(diǎn)：? 相關(guān)性：所收集的證據(jù)要與指標(biāo)相關(guān)、并且是最重要的信息，比如要測量貧困地區(qū)適齡女童的小學(xué)入學(xué)情況，那么就要收集女童而不是男童的入學(xué)率數(shù)據(jù)。? 有效性：所收集的證據(jù)要能真實(shí)反映指標(biāo)內(nèi)容，比如要測量某個省的貧困地區(qū)適齡女童的小學(xué)入學(xué)情況，那么要收集全省的適齡女童入學(xué)率數(shù)據(jù)，而不是縣級的數(shù)據(jù)。27 / 67? 可靠性：測量相同指標(biāo)的證據(jù)可以通過相同方法進(jìn)行收集并驗(yàn)證，比如適齡女童入學(xué)率數(shù)據(jù)每年都可以通過“某地區(qū)適齡女童入學(xué)人數(shù)某地區(qū)適齡女童人數(shù)*”來獲得。? 準(zhǔn)確性：所收集的證據(jù)要準(zhǔn)確，特別是對于收集的利益相關(guān)者觀點(diǎn)要注意其代表性，比如對于“社區(qū)環(huán)境是否改善”這一問題，有名居民認(rèn)為環(huán)境得到改善，而只有名居民認(rèn)為環(huán)境沒有改善，那么要采用名居民的觀點(diǎn)?？冃гu價證據(jù)來源主要有以下類，見專欄 。專欄 Error! No sequence specified. 績效評價證據(jù)來源第一類：制度、政策和法規(guī)? 國家相關(guān)法律、法規(guī)、規(guī)章；? 國家發(fā)展規(guī)劃和相關(guān)部門行業(yè)發(fā)展規(guī)劃及政策，地方政府制定的發(fā)展規(guī)劃和政策；? 貸款方的有關(guān)制度規(guī)定。第二類：項(xiàng)目文件和相關(guān)報告? 項(xiàng)目文件和報告，主要包括：立項(xiàng)評估報告、項(xiàng)目進(jìn)展報告、完工報告等；? 國家發(fā)展改革部門的項(xiàng)目立項(xiàng)批復(fù)報告；? 項(xiàng)目單位的項(xiàng)目執(zhí)行文件和報告，主要包括：項(xiàng)目可行性研究報告、環(huán)境影響評價報告，項(xiàng)目執(zhí)行過程中的有關(guān)財務(wù)會計資料、工作總結(jié)、監(jiān)測報告、項(xiàng)目進(jìn)度報告、項(xiàng)目竣工驗(yàn)收報告等；? 財政、審計部門對項(xiàng)目執(zhí)行情況的專項(xiàng)檢查報告、專項(xiàng)審計報告；? 研究機(jī)構(gòu)或咨詢機(jī)構(gòu)提供的與項(xiàng)目相關(guān)的研究資料、分析報告和咨詢報告等。第三類：評價小組直接收集? 相關(guān)利益者座談會；? 對相關(guān)人員的面訪；? 實(shí)地調(diào)研；? 問卷調(diào)查；? 評價小組采用其他方法收集的數(shù)據(jù)。 證據(jù)收集方法證據(jù)收集方法是用以收集所需證據(jù)的方法和技術(shù)。證據(jù)收集方法有很多種，如案卷研究、面訪、座談會、問卷調(diào)查、實(shí)地調(diào)研、案例研究等。大多數(shù)績效評價都可能使用其中一種或多種。表 列出了不同證據(jù)收集方法的優(yōu)點(diǎn)和缺點(diǎn)，評價人員可以根據(jù)現(xiàn)實(shí)情況選擇適合的方法。選擇證據(jù)收集方法還要考慮評價28 / 67的經(jīng)費(fèi)預(yù)算、人力資源和時間等因素。表 Error! No sequence specified. 證據(jù)收集方法的優(yōu)缺點(diǎn)方法 優(yōu)點(diǎn) 缺點(diǎn)案卷研究 成本低，并且能從現(xiàn)有資料中獲得大量有用證據(jù)很難對現(xiàn)有資料中的證據(jù)進(jìn)行核實(shí)面訪 成本較低且較容易實(shí)施，能夠收集有用且豐富的信息，特別是利益相關(guān)者的觀點(diǎn)、建議、以及解釋項(xiàng)目成功或失敗的原因受訪人的主觀偏見使證據(jù)的客觀性受到影響，給評價人員的分析和判斷帶來困難座談會 成本較高，能夠收集更多不同相關(guān)利益者的觀點(diǎn)、判斷、以及解釋項(xiàng)目成功或失敗的原因座談會上可能會收集到許多績效評價無關(guān)的信息，有時座談會參與人可能更多地談?wù)撍P(guān)注的問題而非評價小組關(guān)注的問題，同時參與人的主觀偏見也會影響證據(jù)的客觀性問卷調(diào)查 提供大量結(jié)構(gòu)化的證據(jù)，覆蓋面廣 成本高，有時問卷回收時間過長給后續(xù)分析帶來困難實(shí)地調(diào)研 能夠獲得詳細(xì)的證據(jù)，在項(xiàng)目已有信息缺乏情況下采用能夠獲得項(xiàng)目的一手證據(jù)成本高案例研究 提供詳細(xì)和深入的證據(jù) 很難獲得整體的綜合信息通過上述步驟將形成一個完整的項(xiàng)目績效評價框架，用于指導(dǎo)績效評價工作的開展。完成績效評價實(shí)施方案 面訪、座談會和實(shí)地調(diào)研問題設(shè)計面訪、座談會和實(shí)地調(diào)研是收集評價證據(jù)的重要方法，績效評價一般都會采用。為了更好地從面訪、座談會和實(shí)地調(diào)研中收集到有用的信息，必須設(shè)計問題清單。設(shè)計問題清單要以績效評價框架為基礎(chǔ)。問題按照其作用可分為類：（）用于收集評價指標(biāo)需要的證據(jù)；（）用于核實(shí)案卷研究和其他方法收集的證據(jù)。 （）用于收集指標(biāo)實(shí)現(xiàn)或沒有實(shí)現(xiàn)的原因；（）用于收集利益相關(guān)者的觀29 / 67點(diǎn)。必須強(qiáng)調(diào)的是，這里的問題清單是用來收集相關(guān)評價證據(jù)，而本《指南》的個關(guān)鍵評價問題是用來評價項(xiàng)目績效，兩者作用不同。開發(fā)問題清單應(yīng)該注意：（）問題要有針對性，避免設(shè)計過多無關(guān)的問題；（）問題要精煉、清晰，避免產(chǎn)生歧義；（）問題涵蓋的內(nèi)容要單一，不要將不同內(nèi)容放在同一個問題中；（）要預(yù)先估計問題是否能夠得到回答，如果不能，要改變問題或說明其局限性。 表以遼寧城市交通項(xiàng)目為例，列舉其省級座談會問題清單，并說明每個問題的作用。表 遼寧城市交通項(xiàng)目省級座談會問題清單部分序號 問題 作用您認(rèn)為項(xiàng)目設(shè)計的目標(biāo)，是否適應(yīng)當(dāng)時項(xiàng)目市的城市交通發(fā)展需求？從當(dāng)前看，項(xiàng)目的目標(biāo)是否依然針對當(dāng)?shù)爻鞘薪煌媾R的問題？詢問利益相關(guān)者對項(xiàng)目相關(guān)性的觀點(diǎn)項(xiàng)目在沈陽、撫順和鞍山的活動內(nèi)容都進(jìn)行了調(diào)整，為什么要進(jìn)行調(diào)整？詢問原因“持續(xù)改善項(xiàng)目的投資環(huán)境”目標(biāo)的一個績效指標(biāo)是“空氣質(zhì)量” ，但這個指標(biāo)只在項(xiàng)目評估文件中提到，此后沒有任何報告提到這個指標(biāo)，也沒有對這個指標(biāo)進(jìn)行測量。為什么沒有對這個指標(biāo)進(jìn)行測量，是數(shù)據(jù)收集不到，還是認(rèn)為這個指標(biāo)不合理，根本就沒有進(jìn)行數(shù)據(jù)收集？詢問原因項(xiàng)目是否促進(jìn)了當(dāng)?shù)亟煌ü芾砟芰Φ奶岣撸咳缬?，體現(xiàn)在哪些方面？詢問觀點(diǎn)從項(xiàng)目完工報告（）得知，機(jī)動車尾氣排放控制戰(zhàn)略的制定是由環(huán)保局獨(dú)立完成的，這是否屬實(shí)，項(xiàng)目為什么沒有參與該戰(zhàn)略的制定？核實(shí)項(xiàng)目文件中的證據(jù)項(xiàng)目貸款能否及時償還？來源如何，是來自省財政還是市財政？收集評價指標(biāo)的證據(jù)各項(xiàng)目市公交公司、市政道路維護(hù)處的經(jīng)費(fèi)來自哪里，能否滿足其運(yùn)行的需要？收集評價指標(biāo)的證據(jù)當(dāng)?shù)毓辉O(shè)施、設(shè)備的更新維護(hù)情況如何？ 收集評價指標(biāo)的證據(jù)注：這里只列出部分問題進(jìn)行舉例。30 / 67 評價任務(wù)分解、分工和時間安排為了保證評價活動的順利、及時地開展，評價組長還要對每個評價活動做出時間安排，以便對評價實(shí)施進(jìn)展進(jìn)行控制。評價活動的時間安排還需要跟管理部門、項(xiàng)目單位等協(xié)商，以便確定大家都方便的時間。表給出了評價任務(wù)分解模板。表 績效評價任務(wù)分解模板序號 評價活動 產(chǎn)出 負(fù)責(zé)人 時間案卷研究 項(xiàng)目基礎(chǔ)信息表 月日月日設(shè)計績效評價框架 項(xiàng)目績效評價框架 評價組長 月日月日設(shè)計面訪問題清單 面訪問題清單 月日月日設(shè)計座談會問題清單 座談會問題清單 月日月日設(shè)計實(shí)地調(diào)研問題清單 實(shí)地調(diào)研問題清單 月日月日設(shè)計績效評價實(shí)施方案 績效評價實(shí)施方案 評價組長 月日月日面訪 面訪問題記錄 月日月日實(shí)地調(diào)研 實(shí)地調(diào)研記錄 月日月日證據(jù)整理 將證據(jù)針對指標(biāo)進(jìn)行匯總 月日月日評價分析 形成績效評價分析結(jié)果、評價結(jié)論、經(jīng)驗(yàn)教訓(xùn)和建議月日月日撰寫績效評價報告初稿 績效評價報告初稿 評價組長 月日月日與利益相關(guān)者溝通 利益相關(guān)者的建議和意見匯總 評價組長 月日月日完善并形成績效評價報告終稿績效評價報告終稿 評價組長 月日月日注：（）一項(xiàng)評價活動可能包括不止一次的面訪或?qū)嵉卣{(diào)研，應(yīng)該列出每次面訪或?qū)嵉卣{(diào)研的負(fù)責(zé)人和時間；（）表中所列活動并非一個績效評價的全部或必須的活動，評