【正文】 數(shù)據(jù)分析中數(shù)理統(tǒng)計(jì)方法的正確使用 報(bào)告人 ： 張利田 《 環(huán)境科學(xué)學(xué)報(bào) 》 編委會(huì)執(zhí)行副主編、編輯部主任 20211126 重要假定 ? 作者所處理的數(shù)據(jù)屬于隨機(jī)變量的特定樣本。 ? 作者已經(jīng)掌握最基本的數(shù)理統(tǒng)計(jì)學(xué)常識(shí)，如概率、假設(shè)檢驗(yàn)、均值、方差、標(biāo)準(zhǔn)差、正態(tài)分布、相關(guān)分析、回歸分析、方差分析 ?? 。 數(shù)理統(tǒng)計(jì)問(wèn)題的重要性 ? 在科學(xué)研究中，經(jīng)常會(huì)涉及到對(duì)隨機(jī)變量 大小 、 離散 及 分布特征的描述以及對(duì) 2個(gè)或多個(gè)隨機(jī)變量之間的 關(guān)系 描述問(wèn)題。地學(xué)、環(huán)境科學(xué)研究也不例外 。 ? 對(duì)隨機(jī)變量及隨機(jī)變量之間的關(guān)系進(jìn)行定量描述的數(shù)學(xué)工具就是 數(shù)理統(tǒng)計(jì)學(xué) 。 ? 在科學(xué)研究中，能否正確使用各種數(shù)理統(tǒng)計(jì)方法關(guān)系到所得出結(jié)論的客觀性和可信性。所以， 來(lái)稿中使用的數(shù)理統(tǒng)計(jì)方法是否正確 應(yīng)是學(xué)術(shù)期刊編輯們極為重視的問(wèn)題。 ? 目前，國(guó)內(nèi)環(huán)境科學(xué)與技術(shù)類學(xué)術(shù)期刊對(duì)稿件中數(shù)理統(tǒng)計(jì)方法問(wèn)題的重視程度存在差異。 1 統(tǒng)計(jì)軟件的選擇 ? 統(tǒng)計(jì)分析通常涉及大量的數(shù)據(jù)，需要較大的計(jì)算工作量。 ? 在進(jìn)行統(tǒng)計(jì)分析時(shí)，盡管作者可以自行編寫(xiě)計(jì)算程序，但在統(tǒng)計(jì)軟件很普及的今天，這樣做是毫無(wú)必要的。 ? 出于對(duì) 工作效率 以及對(duì) 算法的通用性、可比性的考慮，一些學(xué)術(shù)期刊要求作者采用專門(mén)的數(shù)理統(tǒng)計(jì)軟件進(jìn)行統(tǒng)計(jì)分析。 1 統(tǒng)計(jì)軟件的選擇 ? 《 環(huán)境科學(xué)學(xué)報(bào) 》 的編輯們?cè)谔幚砀寮r(shí)經(jīng)常發(fā)現(xiàn)的問(wèn)題是： 作者未使用專門(mén)的數(shù)理統(tǒng)計(jì)軟件，而采用 Excel這樣的電子表格軟件進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析。 ? 由于電子表格軟件提供的統(tǒng)計(jì)分析功能十分有限，只能借助它進(jìn)行較為簡(jiǎn)單的統(tǒng)計(jì)分析，故我們不主張作者采用這樣的軟件進(jìn)行統(tǒng)計(jì)分析。 1 統(tǒng)計(jì)軟件的選擇 ? 目前，國(guó)際上已開(kāi)發(fā)出的專門(mén)用于統(tǒng)計(jì)分析的商業(yè)軟件很多，比較著名有 SPSS(Statistical Package for Social Sciences)和 SAS(Statistical Analysis System)。 此外，還有 BMDP和 STATISTICA等 ?? 。 ? SPSS是專門(mén)為社會(huì)科學(xué)領(lǐng)域的研究者設(shè)計(jì)的，但此軟件在自然科學(xué)領(lǐng)域也得到廣泛應(yīng)用。 ? BMDP是專門(mén)為生物學(xué)和醫(yī)學(xué)領(lǐng)域研究者編制的統(tǒng)計(jì)軟件。 1 統(tǒng)計(jì)軟件的選擇 ? 目前，國(guó)際學(xué)術(shù)界有一條不成文的約定：凡是用 SPSS和 SAS軟件進(jìn)行統(tǒng)計(jì)分析所獲得的結(jié)果，在國(guó)際學(xué)術(shù)交流中不必說(shuō)明具體算法。由此可見(jiàn)， SPSS和 SAS軟件已被各領(lǐng)域研究者普遍認(rèn)可。 ? 我們建議作者們?cè)谶M(jìn)行統(tǒng)計(jì)分析時(shí)盡量使用這 2個(gè)專門(mén)的統(tǒng)計(jì)軟件。目前，有關(guān)這 2個(gè)軟件的使用教程在書(shū)店中可很容易地買(mǎi)到。 2 均值的計(jì)算 ：理論問(wèn)題 ? 均值（準(zhǔn)確的稱呼應(yīng)為 “ 樣本均值 ” ）的統(tǒng)計(jì)學(xué)意義：反映隨機(jī)變量樣本的大小特征。 ? 均值對(duì)應(yīng)于隨機(jī)變量總體的數(shù)學(xué)期望 — 總體的數(shù)學(xué)期望客觀上決定著樣本的均值，反過(guò)來(lái)，通過(guò)計(jì)算樣本的均值可以描述總體的數(shù)學(xué)期望。 ? 在處理實(shí)驗(yàn)數(shù)據(jù)或采樣數(shù)據(jù)時(shí)，經(jīng)常會(huì)遇到對(duì)相同采樣或相同實(shí)驗(yàn)條件下同一隨機(jī)變量的多個(gè)不同取值進(jìn)行統(tǒng)計(jì)處理的問(wèn)題。 ? 為找到代表這些觀測(cè)值總體大小特征的代表值（統(tǒng)計(jì)量，該統(tǒng)計(jì)量根據(jù)樣本數(shù)據(jù)算出），多數(shù)作者會(huì)不假思索地直接給出算術(shù)平均值和標(biāo)準(zhǔn)差。顯然，這種做法是不嚴(yán)謹(jǐn)?shù)?— 不一定總是正確的。 2 均值的計(jì)算：技術(shù)問(wèn)題 ? 在數(shù)理統(tǒng)計(jì)學(xué)中，作為描述隨機(jī)變量樣本的總體大小特征的統(tǒng)計(jì)量有算術(shù)平均值、幾何平均值和中位數(shù)等多個(gè)。 ? 何時(shí)用算術(shù)平均值？何時(shí)用幾何平均值？以及何時(shí)用中位數(shù)？ 這不能由研究者根據(jù)主觀意愿隨意確定，而要根據(jù)隨機(jī)變量的分布特征確定 。 2 均值的計(jì)算：技術(shù)問(wèn)題 ? 反映隨機(jī)變量總體大小特征的統(tǒng)計(jì)量是數(shù)學(xué)期望，而在隨機(jī)變量的分布服從正態(tài)分布時(shí)，其數(shù)學(xué)期望就可以用樣本的算術(shù)平均值描述。此時(shí)，可用樣本的 算術(shù)平均值 描述隨機(jī)變量的大小特征。 ? 如果所研究的隨機(jī)變量不服從正態(tài)分布，則算術(shù)平均值不能準(zhǔn)確反映該變量的大小特征。在這種情況下，可通過(guò)假設(shè)檢驗(yàn)來(lái)判斷隨機(jī)變量是否服從對(duì)數(shù)正態(tài)分布。如果服從對(duì)數(shù)正態(tài)分布，則幾何平均值就是數(shù)學(xué)期望的值。此時(shí)，就可以計(jì)算變量的 幾何平均值 。 ? 如果隨機(jī)變量既不服從正態(tài)分布也不服從對(duì)數(shù)正態(tài)分布，則按現(xiàn)有的數(shù)理統(tǒng)計(jì)學(xué)知識(shí)，尚無(wú)合適的統(tǒng)計(jì)量描述該變量的大小特征。此時(shí)，可用 中位數(shù) 來(lái)描述變量的大小特征。 3 相關(guān)分析 ：相關(guān)系數(shù)的選擇 ? 在相關(guān)分析中，作者們常犯的錯(cuò)誤是：簡(jiǎn)單地計(jì)算Pearson 積矩相關(guān)系數(shù)，而且既不給出正態(tài)分布檢驗(yàn)結(jié)果，也往往不明確指出所計(jì)算的相關(guān)系數(shù)就是 Pearson 積矩相關(guān)系數(shù)。 ? 在數(shù)理統(tǒng)計(jì)學(xué)中，除有針對(duì)數(shù)值變量設(shè)計(jì)的 Pearson 積矩相關(guān)系數(shù)（對(duì)應(yīng)于 “ 參數(shù)方法 ” ）外，還有針對(duì)順序變量（即 “ 秩變量 ” ）設(shè)計(jì)的 Spearman秩相關(guān)系數(shù)和 Kendall秩相關(guān)系數(shù)（對(duì)應(yīng)于 “ 非參數(shù)方法 ” ）等。 ? Pearson 積矩相關(guān)系數(shù)可用于描述 2個(gè)隨機(jī)變量的線性相關(guān)程度， Spearman或 Kendall秩相關(guān)系數(shù)用來(lái)判斷兩個(gè)隨機(jī)變量在二維和多維空間中是否具有某種共變趨勢(shì)。 3 相關(guān)分析：相關(guān)系數(shù)的選擇 ? 在相關(guān)分析中，計(jì)算各種相關(guān)系數(shù)是有前提條件的。 ? 在相關(guān)分析中，對(duì)于秩變量，一般別無(wú)選擇，只能計(jì)算 Spearman或 Kendall秩相關(guān)系數(shù)。 ? 對(duì)于數(shù)值變量，只要條件許可，應(yīng)盡量使用 檢驗(yàn)功效最高 的參數(shù)方法，即計(jì)算用 Pearson 積矩相關(guān)系數(shù)。只有計(jì)算 Pearson 積矩相關(guān)系數(shù)的前提不存在時(shí)，才考慮退而求其次，計(jì)算專門(mén)為秩變量設(shè)計(jì)的 Spearman或 Kendall秩相關(guān)系數(shù)（ 盡管這樣做會(huì)導(dǎo)致檢驗(yàn)功效的降低 ）。 3 相關(guān)分析：相關(guān)系數(shù)的選擇 ? 對(duì)于數(shù)值變量，相關(guān)系數(shù)選擇的依據(jù)是變量是否服從正態(tài)分布，或變換后的數(shù)據(jù)是否服從正態(tài)分布。 ? 對(duì)于二元相關(guān)分析，如果 2個(gè)隨機(jī)變量服從二元正態(tài)分布假設(shè)，則應(yīng)該用 Pearson 積矩相關(guān)系數(shù)描述這 2個(gè)隨機(jī)變量間的相關(guān)關(guān)系。 ? 如果樣本數(shù)據(jù)不服從二元正態(tài)分布，則可嘗試進(jìn)行數(shù)據(jù)變換，看變換后的數(shù)據(jù)是否符合正態(tài)分布？如果是，則可以針對(duì)變換后的數(shù)據(jù)計(jì)算 Pearson 積矩相關(guān)系數(shù)；否則，就不能計(jì)算 Pearson 積矩相關(guān)系數(shù)，而應(yīng)改用檢驗(yàn)功效較低的 Spearman或 Kendall秩相關(guān)系數(shù)（此時(shí)，如果強(qiáng)行計(jì)算 Pearson 積矩相關(guān)系數(shù)有可能會(huì)得出完全錯(cuò)誤的結(jié)論）。 4 相關(guān)分析與回歸分析的區(qū)別 ? 相關(guān)分析和回歸分析是極為常用的 2種數(shù)理統(tǒng)計(jì)方法，在環(huán)境科學(xué)及其它科學(xué)研究領(lǐng)域有著廣泛的用途。然而，由于這 2種數(shù)理統(tǒng)計(jì)方法在計(jì)算方面存在很多相似之處，且在一些數(shù)理統(tǒng)計(jì)教科書(shū)中沒(méi)有系統(tǒng)闡明這 2種數(shù)理統(tǒng)計(jì)方法的內(nèi)在差別，從而使一些研究者不能嚴(yán)格區(qū)分相關(guān)分析與回歸分析 。 4 相關(guān)分析與回歸分析的區(qū)別 ? 最常見(jiàn)的錯(cuò)誤是 :用回歸分析的結(jié)果解釋相關(guān)性問(wèn)題。例如，作者將 “ 回歸直線（曲線）圖 ” 稱為 “ 相關(guān)性圖 ” 或 “ 相關(guān)關(guān)系圖 ” ；將回歸直線的 R2(擬合度，或稱 “ 可決系數(shù) ” )錯(cuò)誤地稱為 “ 相關(guān)系數(shù) ” 或 “ 相關(guān)系數(shù)的平方 ” ；根據(jù)回歸分析的結(jié)果宣稱 2個(gè)變量之間存在正的或負(fù)的相關(guān)關(guān)系。 4 相關(guān)分析與回歸分析的區(qū)別 ? 相關(guān)分析與回歸分析均為研究 2個(gè)或多個(gè)變量間關(guān)聯(lián)性的方法，但 2種數(shù)理統(tǒng)計(jì)方法存在本質(zhì)的差別，即它們用于不同的研究目的。 ? 相關(guān)分析的目的在于檢驗(yàn)兩個(gè)隨機(jī)變量的共變趨勢(shì)（即共同變化的程度），回歸分析的目的則在于試圖用自變量來(lái)預(yù)測(cè)因變量的值。 4 相關(guān)分析與回歸分析的區(qū)別 ? 在相關(guān)分析中，兩個(gè)變量必須同時(shí)都是隨機(jī)變量，如果其中的一個(gè)變量不是隨機(jī)變量，就不能進(jìn)行相關(guān)分析。這是相關(guān)分析方法本身所決定的。 4 相關(guān)分析與回歸分析的區(qū)別 ? 對(duì)于回歸分析，其中的因變量肯定為隨機(jī)變量（這是回歸分析方法本身所決定的），而自變量則可以是普通變量（有確定的取值）也可以是隨機(jī)變量。 4 相關(guān)分析與回歸分析的區(qū)別 ? 如果自變量是普通變量，即模型 Ⅰ 回歸分析，采用的回歸方法就是最為常用的最小二乘法。 ? 如果自變量是隨機(jī)變量， 即模型 Ⅱ 回歸分析，所采用的回歸方法與計(jì)算者的目的有關(guān)。 ? 在以預(yù)測(cè)為目的的情況下，仍采用 “ 最小二乘法 ”（但精度下降 — 最小二乘法是專為模型 Ⅰ 設(shè)計(jì)的，未考慮自變量的隨機(jī)誤差）； ? 在以估值為目的（如計(jì)算可決系數(shù)、回歸系數(shù)等）的情況下，應(yīng)使用相對(duì)嚴(yán)謹(jǐn)?shù)姆椒ǎㄈ?“ 主軸法 ” 、“ 約化主軸法 ” 或 “ Bartlett法 ” ）。 4 相關(guān)分析與回歸分析的區(qū)別 ? 顯然，對(duì)于回歸分析，如果是模型 Ⅱ 回歸分析，鑒于兩個(gè)隨機(jī)變量客觀上存在 “ 相關(guān)性 ” 問(wèn)題，只是由于回歸分析方法本身不能提供針對(duì)自變量和因變量之間相關(guān)關(guān)系的準(zhǔn)確的檢驗(yàn)手段，因此，若以預(yù)測(cè)為目的，最好不提 “ 相關(guān)性 ” 問(wèn)題； 若以探索兩者的 “ 共變趨勢(shì) ” 為目的 ，應(yīng)該改用相關(guān)分析。 ? 如果是模型 Ⅰ 回歸分析，就根本不可能回答變量的 “ 相關(guān)性 ” 問(wèn)題， 因?yàn)槠胀ㄗ兞颗c隨機(jī)變量之間不存在 “ 相關(guān)性 ”這一概念 （問(wèn)題在于，大多數(shù)的回歸分析都是模型 Ⅰ 回歸分析?。４藭r(shí)，即使作者想描述 2個(gè)變量間的 “ 共變趨勢(shì) ” 而改用相關(guān)分析，也會(huì)因相關(guān)分析的前提不存在而使分析結(jié)果毫無(wú)意義。 4 相關(guān)分析與回歸分析的區(qū)別 ? 需要特別指出的是，回歸分析中的 R2在數(shù)學(xué)上恰好是Pearson積矩相關(guān)系數(shù) r的平方。因此，這極易使作者們錯(cuò)誤地理解 R2的含義，認(rèn)為 R2就是 “ 相關(guān)系數(shù) ” 或 “ 相關(guān)系數(shù)的平方 ” 。問(wèn)題在于，對(duì)于自變量是普通變量（即其取值有確定性的變量）、因變量為隨機(jī)變量的模型 Ⅰ 回歸分析，2個(gè)變量之間的 “ 相關(guān)性 ” 概念根本不存在，又何談 “ 相關(guān)系數(shù) ” 呢？ ? 更值得注意的是，一些早期的教科書(shū)作者不是用 R2來(lái)描述回歸效果（擬合程度，擬合度）的，而是用 Pearson積矩相關(guān)系數(shù)來(lái)描述。這就更容易誤導(dǎo)讀者。 5 重要的數(shù)理統(tǒng)計(jì)學(xué)常識(shí) ? 1）假設(shè)檢驗(yàn) ? 假設(shè)檢驗(yàn)的基本思想 ? 統(tǒng)計(jì)推斷 ：是根據(jù)樣本數(shù)據(jù)推斷總體特征的一種方法。 ? 假設(shè)檢驗(yàn)： 是進(jìn)行 統(tǒng)計(jì)推斷 的途徑之一（另一種途徑是參數(shù)估計(jì)，如點(diǎn)估計(jì)和區(qū)間估計(jì)）。 ? 假設(shè)檢驗(yàn)的基本思路是 ：首先，對(duì)總體參數(shù)值提出假設(shè)（原假設(shè)）；然后，利用樣本數(shù)據(jù)提供的信息來(lái)驗(yàn)證所提出的假設(shè)是否成立（統(tǒng)計(jì)推斷） 如果樣本數(shù)據(jù)提供的信息不能證明上述假設(shè)成立，則應(yīng)拒絕該假設(shè)；如果樣本數(shù)據(jù)提供的信息不能證明上述假設(shè)不成立，則不應(yīng)拒絕該假設(shè)。 ? 接受或拒絕原假設(shè)的依據(jù) ：小概率事件不可能發(fā)生。顯然，這樣做是有風(fēng)險(xiǎn)的（小概率事件真的發(fā)生了）。 ? 假設(shè)檢驗(yàn)中的關(guān)鍵問(wèn)題 ： 1）在原假設(shè)成立的情況下，如何計(jì)算樣本值或某一極端值發(fā)生的概率？ 2）如何界定小概率事件？ 5 重要的數(shù)理統(tǒng)計(jì)學(xué)常識(shí) ? 1）假設(shè)檢驗(yàn) ? 假設(shè)檢驗(yàn)的基本步驟 ? 1）提出原假設(shè)（或稱 “ 零假設(shè) ” ， H0）； ? 2）選擇檢驗(yàn)統(tǒng)計(jì)量； ? 3）根據(jù)樣本數(shù)據(jù)計(jì)算檢驗(yàn)統(tǒng)計(jì)量觀測(cè)值的發(fā)生概率（相伴概率， p）； ? 4）根據(jù)給定的小概率事件界定標(biāo)準(zhǔn)（顯著性水平，如 ， ）做出統(tǒng)計(jì)推斷。 假設(shè)檢驗(yàn)的基本步驟 ? 為什么要設(shè)計(jì)并計(jì)算檢驗(yàn)統(tǒng)計(jì)量？ ? 在假設(shè)檢驗(yàn)中，樣本值（或更極端的取值）發(fā)生的概率不能直接通過(guò)樣本數(shù)據(jù)計(jì)算，而是通過(guò)計(jì)算 檢驗(yàn)統(tǒng)計(jì)量觀測(cè)值 的發(fā)生概率而間接得到的。 ? 所設(shè)計(jì)的檢驗(yàn)統(tǒng)計(jì)量一般服從或近似服從某種已知的理論分布（如 t分布、 F分布、卡方分布），易于估算其取值概率。 ? 對(duì)于不同的假設(shè)檢驗(yàn)和不同的總體，會(huì)有不同的選擇檢驗(yàn)統(tǒng)計(jì)量的理論和方法 。 假設(shè)檢驗(yàn)的基本步驟 ? 計(jì)算檢驗(yàn)統(tǒng)計(jì)量觀測(cè)值的發(fā)生概率 ? 在假定原假設(shè)成立的前提下，利用樣本數(shù)據(jù)計(jì)算檢驗(yàn)統(tǒng)計(jì)量觀測(cè)值發(fā)生的概率（即 p值，又稱“ 相伴概率 ” — 指該檢驗(yàn)統(tǒng)計(jì)量在某個(gè)特定的極端區(qū)域在原假設(shè)成立時(shí)的概率）。該概率值間接地給出了在原假設(shè)成立的條件下樣本值（或更極端值）發(fā)生的概率。 假設(shè)檢驗(yàn)的基本步驟 ? 進(jìn)行統(tǒng)計(jì)推斷 ? 依據(jù)預(yù)先確定的 “ 顯著性水平 ” （即 α值），如 ，決定是否拒絕原假設(shè)。 ? 如果 p值小于 α值，即認(rèn)為原假設(shè)成立時(shí)檢驗(yàn)統(tǒng)計(jì)量觀測(cè)值的發(fā)生是小概率事件，則拒絕原假設(shè)。否則，就接受原假設(shè)。 顯著性水平：概念與意義 ? 在假設(shè)檢驗(yàn)中， 顯著性水平（ Significant level， 用α表示）的確定是假設(shè)檢驗(yàn)中至關(guān)重要的問(wèn)題。 ? 顯著性水平是在原假設(shè)成立時(shí)檢驗(yàn)統(tǒng)計(jì)量的制落在某個(gè)極端區(qū)域的概率值。因此，如果取 α= ，如果計(jì)算出的 p值小于 α ，則可認(rèn)為原假設(shè)是一個(gè)不可能發(fā)生的小概率事件。當(dāng)然，如果真的發(fā)生了，則犯錯(cuò)誤的可能性為 5%。 顯然，顯著性水平反映了拒絕某一原假設(shè)時(shí)所犯錯(cuò)誤的可能性，或者說(shuō)， α是指拒絕了事實(shí)上正確的原假設(shè)的概率。 顯著性水平：通常的取值 ? α值一般在進(jìn)行假設(shè)檢驗(yàn)前