淺談醫(yī)學(xué)大數(shù)據(jù)docxdocx(參考版)
2025-07-21 10:58本頁面
【正文】 從而， 在這個大數(shù)據(jù)分析變得更加主流的時代，把握時機，脫穎而出或百尺竿頭，更進一步。 突出的交流能力：整合數(shù)據(jù)和結(jié)果的分析報告，能清晰明了的用非專業(yè)語言幫助客戶或公眾正確理解數(shù)據(jù)分析結(jié)果并做出決定。一些機構(gòu)尋找人才就是看誰能在討論數(shù)據(jù)時能夠靈光一現(xiàn)。 分析和建模能力：在了解數(shù)據(jù)的基礎(chǔ)上迅速分析并建立有效的統(tǒng)計模型。 計算機科學(xué)/數(shù)據(jù)開發(fā)的專業(yè)技能：扎實的計算機科學(xué)基礎(chǔ)及運用能力，明了大數(shù)據(jù)的基礎(chǔ)框架設(shè)施。本文描述的數(shù)據(jù)管理框架，數(shù)據(jù)統(tǒng)計分析揭示了大數(shù)據(jù)的有效應(yīng)用是一個系統(tǒng)性的工程，需要一系列專業(yè)技能來保證大數(shù)據(jù)分析的成功，包括：處理，整合，分析復(fù)雜的數(shù)據(jù)并能幫助客戶充分了解數(shù)據(jù)分析的結(jié)果。 大數(shù)據(jù)通過對臨床及其他數(shù)據(jù)存儲庫進行數(shù)據(jù)管理和分析獲得前所未有的洞察力并依此做出更明智的決策。在計算機算法的基礎(chǔ)上去學(xué)習(xí)認識數(shù)據(jù)統(tǒng)計的性質(zhì)，把算法和統(tǒng)計分析結(jié)合起來是未來大數(shù)據(jù)分析的一個主要方向。數(shù)據(jù)本身的復(fù)雜性，使得分析的過程中充滿了種種陷阱，誤區(qū)。以上的各個例子充分說明了在大數(shù)據(jù)時代，雖然數(shù)據(jù)庫等操作建立需要專業(yè)計算機人才的貢獻，統(tǒng)計專業(yè)人員的參與也是必不可少的。這對于市場分析的決策提供了很有價值的情報。例如，在決定是否對以產(chǎn)品進行促銷活動之前，市場分析師可能希望估計由于推廣而出現(xiàn)的短期高評分對產(chǎn)品的長期影響。這個差異，說明我們從集體評分中得來的感知和產(chǎn)品的真實價值之間存在著顯著的差異。他們對亞馬遜的四類產(chǎn)品數(shù)據(jù)（書籍，電子產(chǎn)品，電影電視，和音樂）進行了內(nèi)在評分（剔出“羊群效應(yīng)”）和外在（沒有剔出“羊群效應(yīng)”）測試。體現(xiàn)在這種社會化的客戶評分系統(tǒng)中的“羊群效應(yīng)”具體表現(xiàn)為：高評分傾向于產(chǎn)生新的高評分同時抑制低評分的產(chǎn)生。IBM Watson 研究中心 (Wang amp。羊群是一種很散亂的組織，平時在一起也是盲目地左沖右撞，但一旦有一只頭羊動起來，其他的羊也會不假思索地一哄而上，全然不顧前 面可能有狼或者不遠處有更好的草。產(chǎn)生這種差異的原因在于“羊群效應(yīng)” 。最近的實驗研究證明先前已經(jīng)存在的收集到的意見會歪曲隨后個人的決策還有對質(zhì)量及價值的認知。利用這種“眾人的智慧”的一個關(guān)鍵要求是個人意見的獨立性。好多輔助醫(yī)療應(yīng)用軟件在移動平臺上都會有使用者的評分，人們會根據(jù)評分來選擇是否使用一下。羊群效應(yīng)（herding effect）大數(shù)據(jù)時代，我們的社會已經(jīng)在越來越多的把個人的觀點數(shù)字化，匯總化，并依賴于此做出決策（比如根據(jù)收集到的評分來進行產(chǎn)品或服務(wù)的推薦）。這是因為現(xiàn)有的傳統(tǒng)統(tǒng)計方法是針對小數(shù)據(jù)的，在被提出的時候，還沒有面對過或想到數(shù)據(jù)量可以如此龐大。這樣一來，結(jié)果就會是統(tǒng)計學(xué)上是有意義的：兩組數(shù)據(jù)的平均值是不一樣的。隨著樣本數(shù)量的增加，樣本差值會和真實的總體數(shù)據(jù)差值接近（不一定就是0哦），同時不確定性會減小，置信區(qū)間會縮短，其實就是估計的差值越來越精準了。如圖十一所示：圖十一那為什么在樣本數(shù)據(jù)量為1000和 上萬上百萬的情況下結(jié)果會不一樣。落在里面我們就說是統(tǒng)計學(xué)上是沒有意義的也就是兩組數(shù)據(jù)的平均值是一樣。那么我們實際上更精確的說是看0是否落在樣本差值的置信區(qū)間內(nèi)（置信區(qū)間的上限和下限和上面提到的第一統(tǒng)計錯誤率是相一致的，有一個5%的概念在里面，這兒就不詳細介紹了。現(xiàn)在我們只有A組樣本數(shù)量數(shù)據(jù)平均值和B組樣本數(shù)量數(shù)據(jù)平均值，表達符號就是和。真實的總體數(shù)量數(shù)據(jù)的統(tǒng)計指標就落在樣本數(shù)據(jù)統(tǒng)計指標的左邊或右邊的一定范圍內(nèi)（置信區(qū)間）。這樣我們分析總結(jié)出的這兩組數(shù)據(jù)的一些統(tǒng)計指標就會和總體數(shù)量數(shù)據(jù)的統(tǒng)計指標有一定的偏差。單純孤立的比較兩組各1000個記錄的平均值，就是比大小，比出來的結(jié)論不能推廣到100%總體數(shù)量數(shù)據(jù)的客觀現(xiàn)象上。但當(dāng)數(shù)據(jù)記錄達到上萬上百萬時，測試的結(jié)果告訴我們統(tǒng)計學(xué)上是有意義的了。當(dāng)我們做兩組數(shù)據(jù)的分析比較時，如果A組，B組各只有1000個數(shù)據(jù)記錄，我們測試兩組數(shù)據(jù)的平均值是否一樣，結(jié)果告訴我們統(tǒng)計學(xué)上無意義。無意義顯著性(meaningless significance)還有一種情況我們稱為無意義的顯著性 (Lin, Lucas, amp。 在面對龐大的海量數(shù)據(jù)和超多維度的因素時，當(dāng)同時對一個數(shù)據(jù)進行許多檢驗測試時，不可避免會出現(xiàn)虛假相關(guān)。也就是說，如果實際不存在相關(guān)性，我們允許100次假設(shè)檢驗中出現(xiàn)5次錯誤相關(guān)。這個錯誤率通常被設(shè)定為5%，也就是說每100次檢驗測試，我們允許有5次在統(tǒng)計學(xué)上實際無意義的被錯誤判斷為統(tǒng)計學(xué)上有意義（如果不允許統(tǒng)計錯誤率的存在，那就是100%的正確率，也就是說沒有不確定性的存在。為了讓我們能知其然也知其所以然，這兒要解釋一下“統(tǒng)計學(xué)上有意義”究竟是怎么界定的 。 在此過程中，你可能發(fā)現(xiàn)，大約會有5次在統(tǒng)計學(xué)上被認為與心血管病相關(guān)的因素，實際上從常識和現(xiàn)實來判斷是沒有任何關(guān)聯(lián)的，也就是說統(tǒng)計學(xué)上有意義是錯誤的。統(tǒng)計學(xué)上有意義，簡單來說就是認為心血管病和該因素有關(guān)。每一個檢驗測試結(jié)果只會出現(xiàn)兩種情況：這樣，我們想看是否這100個因素和“是否有心血管病”相關(guān)。這兒還是以前面提到過的心血管數(shù)據(jù)為例。這個例子充分說明了大數(shù)據(jù)相比較小數(shù)據(jù)而言對數(shù)據(jù)偏差更容易進行識別，從而發(fā)現(xiàn)數(shù)據(jù)收集過程中的問題并加以改善。圖十所以依此為判斷的話，我們可以說在數(shù)據(jù)樣本量4000左右，A組和B組比較，差別可能不大。在樣本數(shù)量為4236左右，偏差的增加還不明顯。A組數(shù)據(jù)和B組數(shù)據(jù)，在擁有海量的數(shù)據(jù)樣本的情況下，相差已是十萬八千里了。然而當(dāng)我們收集了1萬個數(shù)據(jù)記錄后，情況就發(fā)生了很大的變化。每增加一個記錄，偏差增長公式為：=. B組第一個值為1000 =1001. =. B組第一個值為1000 =. B組第十個值為1000 ==10, A組數(shù)據(jù)其實和B組數(shù)據(jù)比起來相差是不大的。假設(shè)我們有兩組數(shù)據(jù)A和B，A組數(shù)據(jù)收集估算時沒有偏差，所有樣本數(shù)值都為1000。但在大數(shù)據(jù)的情況下，這問題就變的相當(dāng)值得注意。期間不可避免會產(chǎn)生偏差，這些估計中產(chǎn)生的偏差積累，很大程度上受著數(shù)據(jù)量大小及參數(shù)多寡的影響。簡單來說，數(shù)據(jù)越復(fù)雜，需要考慮的因素越多，建立普遍有效的統(tǒng)計模型的難度就越大。圖九右邊的曲線則完全通過了每一藍點，吻合度極高，完全描
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1