淺談醫(yī)學大數(shù)據(jù)25docxdocx(編輯修改稿)
2025-08-14 10:46 本頁面
【文章內(nèi)容簡介】 行。 在這種情況下，最流行的思路是把數(shù)據(jù)分割處理，也就是把數(shù)據(jù)儲存到多個儲存節(jié)點（比如網(wǎng)絡數(shù)據(jù)庫），在每個節(jié)點單獨處理數(shù)據(jù)（甚至處理完就接著進行初步分析, 但處理的程度依客戶具體問題而調(diào)整），然后再匯總整合到一起，提供給單個或多個數(shù)據(jù)庫，接著根據(jù)需要選擇合適的分析方法獲取有用結(jié)果。ETL 貫穿于整個大數(shù)據(jù)管理分析的流程中。圖四演示了大致的大數(shù)據(jù)管理分析流程及一些大數(shù)據(jù)處理分析平臺工具的名字。圖四SAS的數(shù)據(jù)倉庫研究院（TDWI）針對現(xiàn)今存在的大數(shù)據(jù)處理分析平臺工具進行了一項調(diào)查以幫助人們在選擇軟硬件進行大數(shù)據(jù)分析時能做出更好的決策。針對大數(shù)據(jù)技術(shù)，特點，和使用者操作，調(diào)查提供了三個選擇：1）現(xiàn)在使用中，并且會繼續(xù)使用。2）會在三年中開始使用。3）沒有計劃使用。圖五左側(cè)顯示了對于各種大數(shù)據(jù)分析平臺工具，被調(diào)查人員的回復比例。圖五的右側(cè)顯示了平臺工具可能的潛在成長和對采用此工具做出承諾的被調(diào)查人員比例。圖五根據(jù)潛在成長和承諾的綜合考量，此調(diào)查還進一步把大數(shù)據(jù)分析平臺, 工具分成 4 組：第一組為適度的承諾，中度到強的成長潛力；第二組為中度至強有力的承諾，適度增長潛力；第三組為弱到中度的承諾，適度增長潛力；第四組為中度至強有力的承諾，弱增長潛力。圖六顯示了這些組別的內(nèi)容分布。限于篇幅，本文不詳細介紹所列的每一平臺工具的具體內(nèi)容，感興趣的讀者可以參考文獻獲取更詳細的介紹。圖六圖五和圖六都顯示了最流行的平臺和數(shù)據(jù)處理方式為開源免費的 Hadoop 和 MapReduce。伴隨著他們的潛在成長和承諾程度，可以預見，Hadoop 和 MapReduce 正在并會繼續(xù)推動和促進大數(shù)據(jù)的處理和應用。在此，我們簡單介紹一下 Hadoop 和 MapReduce 的概念。Hadoop 是一種基于 Java 的分散式數(shù)據(jù)處理框架。它可以提供對儲存在多個硬件設備上的數(shù)據(jù)進行高吞吐率的讀寫。更重要的是，它對大數(shù)據(jù)具有高容錯性 和對并行應用程序的高可用性。Hadoop 框架結(jié)構(gòu)由若干名字節(jié)點（NameNode）和數(shù)據(jù)節(jié)點（DataNode）組成。一份數(shù)以萬計，百萬計的大數(shù)據(jù)文件會被分割成更小的文件信息塊儲存在多個數(shù)據(jù)節(jié)點里，可以是任何計算機硬件設備。有關(guān)這些文件的數(shù)據(jù)屬性資料信息稱作 metadata 則被存儲在名字節(jié)點里（NameNode）. NameNode 主要管理文件系統(tǒng)的命名空間和客戶端對文件的訪問操作記錄。Hadoop 的框架結(jié)構(gòu)如圖七：圖七當訪問和操作數(shù)據(jù)文件時，客戶端會聯(lián)系名字節(jié)點提取文件信息塊的屬性信息比如位置，文件名等。然后根據(jù)這些屬性信息，客戶端直接從相應的數(shù)據(jù)節(jié)點同時讀取數(shù)據(jù)塊。Hadoop 本身具有冗余和復制功能，保證在單個硬件儲存設備出現(xiàn)故障時數(shù)據(jù)仍舊能被恢復而沒有任何損失，比如每個數(shù)據(jù)節(jié)點默認擁有 3 個備份之類。此外，在有新數(shù)據(jù)節(jié)點添加到框架中時，Hadoop 還可以自動平衡每個數(shù)據(jù)節(jié)點的數(shù)據(jù)載有量。同樣，名字節(jié)點也可以擁有冗余和復制功能，用于在單個儲存數(shù)據(jù)屬性信息的名字節(jié)點出現(xiàn)故障時可以恢復相應的數(shù)據(jù)屬性信息。MapReduce 則是一種可以用來并行處理大數(shù)據(jù)的編程模型。同一程序在 Hadoop 的框架下可以用各種不同的語言（Java,Ruby,Python 等）按 MapReduce 的編程模型進行編寫和運行。其關(guān)鍵就在于三個詞： map,reduce, 和并行處理。我們通過一個例子來理解 MapReduce 的大致工作原理。比如我們有一 30 個字的字符串“開落花纏落花繞纏開繞笑瓜夜村村舍舍瓜夜藤繞下下藤繞嬉嬉笑娃娃”，任務是計算每個字出現(xiàn)的次數(shù)。最簡單的方法是按序讀取每一個字建立標識索引并計算出現(xiàn)的次數(shù)值存入內(nèi)存，如果是新字，值為 1，如果是出現(xiàn)過的字則次數(shù)值累加上去。此種方式是按串行的方式進行的，所花的時間會隨著字符串的長度和復雜度程線性增長。當字符串是以萬計百萬計時，比如基因組數(shù)據(jù)，所花的時間將是相當驚人的。 并行處理則能節(jié)約相當多的時間。我們先把原文件分割到幾個小文件塊，然后對每個小文件塊進行字的標識索引和附加數(shù)值（這兒不進行累計，只是簡單的單次點數(shù)），然后再排序重組把相同字放在一起，然后我們再用縮減法計算出字及其相應的出現(xiàn)次數(shù)值。圖八顯示了具體的例子步驟：圖八大數(shù)據(jù)特性對統(tǒng)計應用上的際遇和沖擊大數(shù)據(jù)的獨特性對傳統(tǒng)的統(tǒng)計方法發(fā)出了挑戰(zhàn)，刺激著新的，適用于大數(shù)據(jù)分析的統(tǒng)計方法的發(fā)展。本文提到的一些際遇和問題，一部分是作者自己的觀點，一部分摘自其他文章（ (Fan, Han, amp。 Liu, 2014) (Wang amp。 Wang, 2014)。相較于統(tǒng)計文章的專業(yè)寫作手法，作者試圖用更淺顯易懂的說法來介紹這些問題，讓一般的讀者對此也能有一定的了解并對此產(chǎn)生興趣。傳統(tǒng)數(shù)據(jù)一般來說是樣本量遠遠大于感興趣的因素，比如一數(shù)據(jù)有200條記錄關(guān)于個人是否有心血管病，可能相關(guān)因素為性別，年齡，血壓。這兒只有4個因素，但樣本量為200（2004）。而大數(shù)據(jù)則擁有海量的樣本及相當多的因素。還是用心血管的例子，現(xiàn)在比如我們有了幾萬條記錄的樣本量，但同時也擁有了上百個的因素，各種以前沒法收集的因素都收集了，像運動與否，運動量如何，運動類型，飲食習慣，飲食內(nèi)容，喝酒與否，喝什么酒，喝酒習慣次數(shù)等等。這使統(tǒng)計中對數(shù)據(jù)的研究應用得到了新的際遇同時也面臨了新的挑戰(zhàn)。數(shù)據(jù)異質(zhì)性（heterogeneity）數(shù)據(jù)異質(zhì)性，可以簡單理解成一個大樣本數(shù)據(jù)里有很多小樣本，每個小樣本有著不同的數(shù)據(jù)特征，比如小樣本的平均值有高有低，離散程度有密有疏，就好象海洋中有著不同溫度，不同密度的各種洋流一樣。我們不能簡單的只在大樣本的層面進行統(tǒng)計分析，這樣得出的結(jié)果如果被用于對小樣本或樣本中的個體的估計或預測時就會出現(xiàn)偏差，因為每個小樣本可能有著一些它自己獨特的特征。在數(shù)據(jù)樣本小的時候，里面的小樣本相應的就更小。 這種情況下小樣本里的數(shù)據(jù)記錄可能只有一，兩個，它們只能被當作異常值處理，無法分析。而在大數(shù)據(jù)里，這種具有獨特特征的數(shù)據(jù)記錄收集出現(xiàn)多了，就擁有了被統(tǒng)計分析的條件，從而使我們更好地探究特定因素的關(guān)聯(lián)性，理解這些數(shù)據(jù)異質(zhì)性。比如有些只在特定人群里發(fā)生
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1