【正文】 對管理研究評價標準的認識 ? 不要只把有效性看作評價研究工作的標準 ， 更重要的是有效性應該成為指導和進行研究工作的觀念和思想 ， 這樣才能充分發(fā)揮包括可靠性理論在內(nèi)的有效性理論的作用 ， 進行更加科學有效的研究工作 。 ? 參數(shù)控制有效性的評價可以采用會聚有效性及差別有效性評價的原理 。 但這里的 “ 企業(yè)競爭力 ” 測試結(jié)果已知且假定是有效的 。 ? 純理論研究的內(nèi)部有效性取決于初始假設的真實性和邏輯 、 數(shù)學論證的嚴密性 。 內(nèi)部有效性與外部有效性的權(quán)衡 ? 如果更注重研究結(jié)果在現(xiàn)實環(huán)境的應用 ， 應該選擇現(xiàn)場研究 。 對現(xiàn)象的研究越是深入到本質(zhì)層面 ， 就越有可能對處于類似情形的人和事起到一種解釋的作用 。 ? 隨機抽樣有兩個優(yōu)點： ? 第一 ， 隨機抽樣得來的樣本雖然不能完全精確地代表總體 ， 但由于避免了偏差 ， 隨機抽樣的樣本比其它類型的樣本對總體更具代表性 。 研究成果推廣的形式 研究成果的推廣有兩種形式： ?效果推廣 （ effects generalization） 指把經(jīng)驗研究得到的結(jié)論直接應用到其它背景下的事件中去 ， 把從樣本中得到的結(jié)論推廣到樣本所在的總體中去 。 外部有效性直接影響到社會關(guān)系理論的普遍意義和應用范圍 。 ? 度量工具的變化 如果前后兩次測驗的度量方法或度量指標不同 ，也會影響研究結(jié)果 。 ? 避開選擇誤區(qū)的關(guān)鍵是使研究對象初始狀態(tài)一致 。 缺乏統(tǒng)一標準 ， 每次調(diào)查的方法或項目不完全一樣 。 ? 例如：一家公司對推銷人員進行業(yè)務培訓 ， 他們發(fā)現(xiàn)推銷人員年銷售額與培訓的相關(guān)系數(shù)為 ，從這兩個變量的分布看 ， 如果對全體推銷人員進行業(yè)務培訓 ， 可以使產(chǎn)品的年銷售額增加 10％ 。 因果關(guān)系的經(jīng)驗驗證 ? 因果關(guān)系存在的第一個標準是自變量在時間上要先于因變量 。 ? 推斷因果關(guān)系的常用方法有：求同法 、 求異法 、求同求異并用法 、 共變法和剩余法 。 操作多元化有助于克服單項目度量存在的度量項目與被測概念之間相關(guān)度可能較低而與其它概念則可能會有一定的相關(guān)性的弱點 ， 并且能更精細地劃分待測概念的屬性 ， 提高度量精度和度量的可靠性 。 ? 概念建構(gòu)涉及問題的界定 、 概念定義和概念域界定等理論層次 ， 一種理論的建構(gòu)通常需要其它理論的支持 。 維度有效性評價舉例 ? 為了考察學生在閱讀理解 、 數(shù)學抽象思維和藝術(shù)形象思維等方面的能力 ， 給出一份包括 50道題的試卷 。 （ 2） 有效性對角 ③ 中的相關(guān)系數(shù)應該高于異屬性－同方法三角形 ② 中的相關(guān)系數(shù) ， 這表明用不同方法對同一屬性的度量間的相關(guān)程度必須高于用同種方法對不同屬性的度量間的相關(guān)程度 。 多屬性－多方法矩陣說明 ? 可靠性對角 ① 中的數(shù)據(jù)反映了用方法 1對三種態(tài)度分別度量的可靠性 。 ? 用來評價會聚有效性和差別有效性的常用方法是多屬性－多方法矩陣 。如果某變量完全不能度量目標概念 ， 假定不同變量包含的系統(tǒng)誤差來源不同 ， 該變量與其它變量的度量結(jié)果應完全不相關(guān) 。 ? 對應于相關(guān)標準變量發(fā)生時間在過去 、 現(xiàn)在和將來 ， 相關(guān)標準有效性又分別稱為： ? 歷史有效性 （ Postdictive Validity） ； ? 并行有效性 （ Concurrent Validity） ； ? 預測有效性 （ Predictive Validity） 。 ? 差別有效性反映擬度量不同概念的變量之間不相關(guān)的程度 ， 表明了擬度量不同概念的變量在何種程度上度量了相異部分 。 表面有效性評估是個主觀過程 ，但它通常是有效性評價的先決條件 ， 觀念度量多數(shù)情況下必須首先通過表面有效性檢驗 。 ? 有效性以可靠性為前提 ， 沒有可靠性就沒有有效性 。 組成概念度量值的成份 ? 在概念域界定清楚的前提下 ， 用操作變量對概念進行度量的結(jié)果一般由三部分組成： （ 1） 希望反映的目標概念的內(nèi)容 （ 真實值 ） ； （ 2） 不希望反映的非目標概念的內(nèi)容 （ 系統(tǒng)誤差 ） ； （ 3） 隨機誤差 。 概念度量誤差的基本來源 ? 概念度量誤差的一個基本來源是觀測變量對概念內(nèi)涵反映的不充分和不準確 。 這種分類方法是把前一種分類法中內(nèi)部有效性的內(nèi)容分成統(tǒng)計結(jié)論有效性和內(nèi)部有效性兩個層次 。 因此對管理研究的評價 ， 就集中在對有關(guān)概念及概念間關(guān)系研究的評價上 ， 同時考察理論的背景和應用范圍 。 研究有效性的類別 研究的有效性 （ Validity） 主要分為三種： ? 概念建構(gòu)有效性 （ Construct Validity， 簡稱 .） ； ? 內(nèi)部有效性 （ Internal Validity， 簡稱 .） ? 外部有效性 （ External Validity， 簡稱 .） 各種有效性的定義 ? 概念建構(gòu)有效性 是指理論中的抽象概念在多大程度上在實際研究中成功地進行了操作化 ， 即操作變量在何種程度上體現(xiàn)了它想要體現(xiàn)的理論概念的真正含義 。 一、概念建構(gòu)有效性 ? 概念建構(gòu)有效性指的是一種操作化方案在何種程度上反映而且只反映希望度量的概念 ， 而不受其他概念的系統(tǒng)影響 。 ? 操作層次的可觀測變量是對理論層次的抽象概念的一種表示 。 即： X0＝ XT＋ XS＋ XR 其中 ， X0為度量值； XT為真實值； XS為系統(tǒng)誤差； XR為隨機誤差 。在假定度量具有高可靠性的前提下 ， 概念建構(gòu)有效性主要取取決于系統(tǒng)誤差 XS 。 ? 內(nèi)容有效性指度量是否包括了足夠有代表性的項目集來度量基準概念 。 ? 度量某個概念的變量不應與度量不同概念的其它變量相關(guān) ， 否則可能說明該變量和其他變量度量了共同的其他內(nèi)容而非該變量希望度量的概念 。 評價概念建構(gòu)有效性的思路 ? 度量同一概念的不同變量間應具有高相關(guān)性 。 評價概念建構(gòu)有效性的要點 （ 1） 明確目標概念的外延及維度 ， 明確與概念有關(guān)的可觀察變量的范圍 ， 哪些變量可以度量目標概念 ，各個變量分別可以度量目標概念的哪些方面 ， 以及各個變量可能反映哪些目標概念之外的內(nèi)容； （ 2） 通過經(jīng)驗研究和統(tǒng)計分析 ， 確定不同度量方法在多大程度上度量的是同一抽象概念 ， 或者在多大程度上度量的是不同概念 。 該矩陣的元素表示分別用不同的方法對不同的屬性進行度量的結(jié)果相互之間的相關(guān)系數(shù) 。 它表示用同種方法對同一屬性進行多次度量時 ， 測度結(jié)果間的相關(guān)程度 ， 也可以用顯著性水平參數(shù) α代替 。 這是一個更加嚴格的要求 ， 圖中數(shù)據(jù)滿足這個要求 。 閱讀理解 、 數(shù)學抽象思維和藝術(shù)形象思維能力是不能直接觀測的 ， 而對試卷中每道題回答的成績是可觀測的 。 我們可以把希望度量的概念與其它多個概念相聯(lián)系 ， 并且引入已被仔細考察的理論和假設推演出概念之間的相互關(guān)系 ， 通過比較理論層次和經(jīng)驗層次的關(guān)系模式 ， 考察度量結(jié)果與理論推演結(jié)果的一致性來檢驗概念建構(gòu)有效性 。 ? 重視統(tǒng)計口徑的統(tǒng)一 、 數(shù)據(jù)的可比性 、 數(shù)據(jù)收集方法設計和具體實施過程的科學性和嚴格性 ， 以保證獲得高質(zhì)量的信息 。 （ 1） 求同法 一些現(xiàn)象在幾個場合出現(xiàn) ， 而且這些場合中只有一個唯一的共同情況 ， 那么這個唯一共同的情況與這些現(xiàn)象之間就有因果關(guān)系 。 實踐中這通常并不會給確定因果關(guān)系造成困難 。這個差異可能使瀕臨倒閉的公司變成贏利較高的企業(yè) 。 因果關(guān)系的經(jīng)驗驗證 ? 變量間存在因果關(guān)系的第三