淺談醫(yī)學(xué)大數(shù)據(jù)(文件)
【正文】 節(jié)約相當(dāng)多的時(shí)間。 Liu, 2014) (Wang amp。這兒只有4個(gè)因素，但樣本量為200（2004）。數(shù)據(jù)異質(zhì)性（heterogeneity）數(shù)據(jù)異質(zhì)性，可以簡單理解成一個(gè)大樣本數(shù)據(jù)里有很多小樣本，每個(gè)小樣本有著不同的數(shù)據(jù)特征，比如小樣本的平均值有高有低，離散程度有密有疏，就好象海洋中有著不同溫度，不同密度的各種洋流一樣。而在大數(shù)據(jù)里，這種具有獨(dú)特特征的數(shù)據(jù)記錄收集出現(xiàn)多了，就擁有了被統(tǒng)計(jì)分析的條件，從而使我們更好地探究特定因素的關(guān)聯(lián)性，理解這些數(shù)據(jù)異質(zhì)性。比如圖九所示：圖九圖九左邊上的曲線是我們針對藍(lán)點(diǎn)(當(dāng)作現(xiàn)有數(shù)據(jù))做出的模型，基本上能很好的描述藍(lán)點(diǎn)的分布及曲線和藍(lán)點(diǎn)的吻合度較高。簡單來說，數(shù)據(jù)越復(fù)雜，需要考慮的因素越多，建立普遍有效的統(tǒng)計(jì)模型的難度就越大。但在大數(shù)據(jù)的情況下，這問題就變的相當(dāng)值得注意。每增加一個(gè)記錄，偏差增長公式為：=. B組第一個(gè)值為1000 =1001. =. B組第一個(gè)值為1000 =. B組第十個(gè)值為1000 ==10, A組數(shù)據(jù)其實(shí)和B組數(shù)據(jù)比起來相差是不大的。A組數(shù)據(jù)和B組數(shù)據(jù)，在擁有海量的數(shù)據(jù)樣本的情況下，相差已是十萬八千里了。圖十所以依此為判斷的話，我們可以說在數(shù)據(jù)樣本量4000左右，A組和B組比較，差別可能不大。這兒還是以前面提到過的心血管數(shù)據(jù)為例。每一個(gè)檢驗(yàn)測試結(jié)果只會出現(xiàn)兩種情況： 在此過程中，你可能發(fā)現(xiàn)，大約會有5次在統(tǒng)計(jì)學(xué)上被認(rèn)為與心血管病相關(guān)的因素，實(shí)際上從常識和現(xiàn)實(shí)來判斷是沒有任何關(guān)聯(lián)的，也就是說統(tǒng)計(jì)學(xué)上有意義是錯(cuò)誤的。這個(gè)錯(cuò)誤率通常被設(shè)定為5%，也就是說每100次檢驗(yàn)測試，我們允許有5次在統(tǒng)計(jì)學(xué)上實(shí)際無意義的被錯(cuò)誤判斷為統(tǒng)計(jì)學(xué)上有意義（如果不允許統(tǒng)計(jì)錯(cuò)誤率的存在，那就是100%的正確率，也就是說沒有不確定性的存在。 在面對龐大的海量數(shù)據(jù)和超多維度的因素時(shí)，當(dāng)同時(shí)對一個(gè)數(shù)據(jù)進(jìn)行許多檢驗(yàn)測試時(shí)，不可避免會出現(xiàn)虛假相關(guān)。當(dāng)我們做兩組數(shù)據(jù)的分析比較時(shí)，如果A組，B組各只有1000個(gè)數(shù)據(jù)記錄，我們測試兩組數(shù)據(jù)的平均值是否一樣，結(jié)果告訴我們統(tǒng)計(jì)學(xué)上無意義。單純孤立的比較兩組各1000個(gè)記錄的平均值，就是比大小，比出來的結(jié)論不能推廣到100%總體數(shù)量數(shù)據(jù)的客觀現(xiàn)象上。真實(shí)的總體數(shù)量數(shù)據(jù)的統(tǒng)計(jì)指標(biāo)就落在樣本數(shù)據(jù)統(tǒng)計(jì)指標(biāo)的左邊或右邊的一定范圍內(nèi)（置信區(qū)間）。那么我們實(shí)際上更精確的說是看0是否落在樣本差值的置信區(qū)間內(nèi)（置信區(qū)間的上限和下限和上面提到的第一統(tǒng)計(jì)錯(cuò)誤率是相一致的，有一個(gè)5%的概念在里面，這兒就不詳細(xì)介紹了。如圖十一所示：圖十一那為什么在樣本數(shù)據(jù)量為1000和 上萬上百萬的情況下結(jié)果會不一樣。這樣一來，結(jié)果就會是統(tǒng)計(jì)學(xué)上是有意義的：兩組數(shù)據(jù)的平均值是不一樣的。羊群效應(yīng)（herding effect）大數(shù)據(jù)時(shí)代，我們的社會已經(jīng)在越來越多的把個(gè)人的觀點(diǎn)數(shù)字化，匯總化，并依賴于此做出決策（比如根據(jù)收集到的評分來進(jìn)行產(chǎn)品或服務(wù)的推薦）。利用這種“眾人的智慧”的一個(gè)關(guān)鍵要求是個(gè)人意見的獨(dú)立性。產(chǎn)生這種差異的原因在于“羊群效應(yīng)” 。IBM Watson 研究中心 (Wang amp。他們對亞馬遜的四類產(chǎn)品數(shù)據(jù)（書籍，電子產(chǎn)品，電影電視，和音樂）進(jìn)行了內(nèi)在評分（剔出“羊群效應(yīng)”）和外在（沒有剔出“羊群效應(yīng)”）測試。例如，在決定是否對以產(chǎn)品進(jìn)行促銷活動之前，市場分析師可能希望估計(jì)由于推廣而出現(xiàn)的短期高評分對產(chǎn)品的長期影響。以上的各個(gè)例子充分說明了在大數(shù)據(jù)時(shí)代，雖然數(shù)據(jù)庫等操作建立需要專業(yè)計(jì)算機(jī)人才的貢獻(xiàn)，統(tǒng)計(jì)專業(yè)人員的參與也是必不可少的。在計(jì)算機(jī)算法的基礎(chǔ)上去學(xué)習(xí)認(rèn)識數(shù)據(jù)統(tǒng)計(jì)的性質(zhì)，把算法和統(tǒng)計(jì)分析結(jié)合起來是未來大數(shù)據(jù)分析的一個(gè)主要方向。本文描述的數(shù)據(jù)管理框架，數(shù)據(jù)統(tǒng)計(jì)分析揭示了大數(shù)據(jù)的有效應(yīng)用是一個(gè)系統(tǒng)性的工程，需要一系列專業(yè)技能來保證大數(shù)據(jù)分析的成功，包括：處理，整合，分析復(fù)雜的數(shù)據(jù)并能幫助客戶充分了解數(shù)據(jù)分析的結(jié)果。 分析和建模能力：在了解數(shù)據(jù)的基礎(chǔ)上迅速分析并建立有效的統(tǒng)計(jì)模型。一些機(jī)構(gòu)尋找人才就是看誰能在討論數(shù)據(jù)時(shí)能夠靈光一現(xiàn)。從而， 在這個(gè)大數(shù)據(jù)分析變得更加主流的時(shí)代，把握時(shí)機(jī)，脫穎而出或百尺竿頭，更進(jìn)一步。 突出的交流能力：整合數(shù)據(jù)和結(jié)果的分析報(bào)告，能清晰明了的用非專業(yè)語言幫助客戶或公眾正確理解數(shù)據(jù)分析結(jié)果并做出決定。 計(jì)算機(jī)科學(xué)/數(shù)據(jù)開發(fā)的專業(yè)技能：扎實(shí)的計(jì)算機(jī)科學(xué)基礎(chǔ)及運(yùn)用能力，明了大數(shù)據(jù)的基礎(chǔ)框架設(shè)施。 大數(shù)據(jù)通過對臨床及其他數(shù)據(jù)存儲庫進(jìn)行數(shù)據(jù)管理和分析獲得前所未有的洞察力并依此做出更明智的決策。數(shù)據(jù)本身的復(fù)雜性，使得分析的過程中充滿了種種陷阱，誤區(qū)。這對于市場分析的決策提供了很有價(jià)值的情報(bào)。這個(gè)差異，說明我們從集體評分中得來的感知和產(chǎn)品的真實(shí)價(jià)值之間存在著顯著的差異。體現(xiàn)在這種社會化的客戶評分系統(tǒng)中的“羊群效應(yīng)”具體表現(xiàn)為：高評分傾向于產(chǎn)生新的高評分同時(shí)抑制低評分的產(chǎn)生。羊群是一種很散亂的組織，平時(shí)在一起也是盲目地左沖右撞，但一旦有一只頭羊動起來，其他的羊也會不假思索地一哄而上，全然不顧前 面可能有狼或者不遠(yuǎn)處有更好的草。最近的實(shí)驗(yàn)研究證明先前已經(jīng)存在的收集到的意見會歪曲隨后個(gè)人的決策還有對質(zhì)量及價(jià)值的認(rèn)知。好多輔助醫(yī)療應(yīng)用軟件在移動平臺上都會有使用者的評分，人們會根據(jù)評分來選擇是否使用一下。這是因?yàn)楝F(xiàn)有的傳統(tǒng)統(tǒng)計(jì)方法是針對小數(shù)據(jù)的，在被提出的時(shí)候，還沒有面對過或想到數(shù)據(jù)量可以如此龐大。隨著樣本數(shù)量的增加，樣本差值會和真實(shí)的總體數(shù)據(jù)差值接近（不一定就是0哦），同時(shí)不確定性會減小，置信區(qū)間會縮短，其實(shí)就是估計(jì)的差值越來越精準(zhǔn)了。落在里面我們就說是統(tǒng)計(jì)學(xué)上是沒有意義的也就是兩組數(shù)據(jù)的平均值是一樣。現(xiàn)在我們只有A組樣本數(shù)量數(shù)據(jù)平均值和B組樣本數(shù)量數(shù)據(jù)平均值，表達(dá)符號就是和。這樣我們分析總結(jié)出的這兩組數(shù)據(jù)的一些統(tǒng)計(jì)指標(biāo)就會和總體數(shù)量數(shù)據(jù)的統(tǒng)計(jì)指標(biāo)有一定的偏差。但當(dāng)數(shù)據(jù)記錄達(dá)到上萬上百萬時(shí)，測試的結(jié)果告訴我們統(tǒng)計(jì)學(xué)上是有意義的了。無意義顯著性(meaningless significance)還有一種情況我們稱為無意義的顯著性 (Lin, Lucas, amp。也就是說，如果實(shí)際不存在相關(guān)性，我們允許100次假設(shè)檢驗(yàn)中出現(xiàn)5次錯(cuò)誤相關(guān)。為了讓我們能知其然也知其所以
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1