淺談醫(yī)學大數據25docxdocx(編輯修改稿)
2025-08-14 10:46 本頁面
【文章內容簡介】 行。 在這種情況下，最流行的思路是把數據分割處理，也就是把數據儲存到多個儲存節(jié)點（比如網絡數據庫），在每個節(jié)點單獨處理數據（甚至處理完就接著進行初步分析, 但處理的程度依客戶具體問題而調整），然后再匯總整合到一起，提供給單個或多個數據庫，接著根據需要選擇合適的分析方法獲取有用結果。ETL 貫穿于整個大數據管理分析的流程中。圖四演示了大致的大數據管理分析流程及一些大數據處理分析平臺工具的名字。圖四SAS的數據倉庫研究院（TDWI）針對現今存在的大數據處理分析平臺工具進行了一項調查以幫助人們在選擇軟硬件進行大數據分析時能做出更好的決策。針對大數據技術，特點，和使用者操作，調查提供了三個選擇：1）現在使用中，并且會繼續(xù)使用。2）會在三年中開始使用。3）沒有計劃使用。圖五左側顯示了對于各種大數據分析平臺工具，被調查人員的回復比例。圖五的右側顯示了平臺工具可能的潛在成長和對采用此工具做出承諾的被調查人員比例。圖五根據潛在成長和承諾的綜合考量，此調查還進一步把大數據分析平臺, 工具分成 4 組：第一組為適度的承諾，中度到強的成長潛力；第二組為中度至強有力的承諾，適度增長潛力；第三組為弱到中度的承諾，適度增長潛力；第四組為中度至強有力的承諾，弱增長潛力。圖六顯示了這些組別的內容分布。限于篇幅，本文不詳細介紹所列的每一平臺工具的具體內容，感興趣的讀者可以參考文獻獲取更詳細的介紹。圖六圖五和圖六都顯示了最流行的平臺和數據處理方式為開源免費的 Hadoop 和 MapReduce。伴隨著他們的潛在成長和承諾程度，可以預見，Hadoop 和 MapReduce 正在并會繼續(xù)推動和促進大數據的處理和應用。在此，我們簡單介紹一下 Hadoop 和 MapReduce 的概念。Hadoop 是一種基于 Java 的分散式數據處理框架。它可以提供對儲存在多個硬件設備上的數據進行高吞吐率的讀寫。更重要的是，它對大數據具有高容錯性 和對并行應用程序的高可用性。Hadoop 框架結構由若干名字節(jié)點（NameNode）和數據節(jié)點（DataNode）組成。一份數以萬計，百萬計的大數據文件會被分割成更小的文件信息塊儲存在多個數據節(jié)點里，可以是任何計算機硬件設備。有關這些文件的數據屬性資料信息稱作 metadata 則被存儲在名字節(jié)點里（NameNode）. NameNode 主要管理文件系統(tǒng)的命名空間和客戶端對文件的訪問操作記錄。Hadoop 的框架結構如圖七：圖七當訪問和操作數據文件時，客戶端會聯(lián)系名字節(jié)點提取文件信息塊的屬性信息比如位置，文件名等。然后根據這些屬性信息，客戶端直接從相應的數據節(jié)點同時讀取數據塊。Hadoop 本身具有冗余和復制功能，保證在單個硬件儲存設備出現故障時數據仍舊能被恢復而沒有任何損失，比如每個數據節(jié)點默認擁有 3 個備份之類。此外，在有新數據節(jié)點添加到框架中時，Hadoop 還可以自動平衡每個數據節(jié)點的數據載有量。同樣，名字節(jié)點也可以擁有冗余和復制功能，用于在單個儲存數據屬性信息的名字節(jié)點出現故障時可以恢復相應的數據屬性信息。MapReduce 則是一種可以用來并行處理大數據的編程模型。同一程序在 Hadoop 的框架下可以用各種不同的語言（Java,Ruby,Python 等）按 MapReduce 的編程模型進行編寫和運行。其關鍵就在于三個詞： map,reduce, 和并行處理。我們通過一個例子來理解 MapReduce 的大致工作原理。比如我們有一 30 個字的字符串“開落花纏落花繞纏開繞笑瓜夜村村舍舍瓜夜藤繞下下藤繞嬉嬉笑娃娃”，任務是計算每個字出現的次數。最簡單的方法是按序讀取每一個字建立標識索引并計算出現的次數值存入內存，如果是新字，值為 1，如果是出現過的字則次數值累加上去。此種方式是按串行的方式進行的，所花的時間會隨著字符串的長度和復雜度程線性增長。當字符串是以萬計百萬計時，比如基因組數據，所花的時間將是相當驚人的。 并行處理則能節(jié)約相當多的時間。我們先把原文件分割到幾個小文件塊，然后對每個小文件塊進行字的標識索引和附加數值（這兒不進行累計，只是簡單的單次點數），然后再排序重組把相同字放在一起，然后我們再用縮減法計算出字及其相應的出現次數值。圖八顯示了具體的例子步驟：圖八大數據特性對統(tǒng)計應用上的際遇和沖擊大數據的獨特性對傳統(tǒng)的統(tǒng)計方法發(fā)出了挑戰(zhàn)，刺激著新的，適用于大數據分析的統(tǒng)計方法的發(fā)展。本文提到的一些際遇和問題，一部分是作者自己的觀點，一部分摘自其他文章（ (Fan, Han, amp。 Liu, 2014) (Wang amp。 Wang, 2014)。相較于統(tǒng)計文章的專業(yè)寫作手法，作者試圖用更淺顯易懂的說法來介紹這些問題，讓一般的讀者對此也能有一定的了解并對此產生興趣。傳統(tǒng)數據一般來說是樣本量遠遠大于感興趣的因素，比如一數據有200條記錄關于個人是否有心血管病，可能相關因素為性別，年齡，血壓。這兒只有4個因素，但樣本量為200（2004）。而大數據則擁有海量的樣本及相當多的因素。還是用心血管的例子，現在比如我們有了幾萬條記錄的樣本量，但同時也擁有了上百個的因素，各種以前沒法收集的因素都收集了，像運動與否，運動量如何，運動類型，飲食習慣，飲食內容，喝酒與否，喝什么酒，喝酒習慣次數等等。這使統(tǒng)計中對數據的研究應用得到了新的際遇同時也面臨了新的挑戰(zhàn)。數據異質性（heterogeneity）數據異質性，可以簡單理解成一個大樣本數據里有很多小樣本，每個小樣本有著不同的數據特征，比如小樣本的平均值有高有低，離散程度有密有疏，就好象海洋中有著不同溫度，不同密度的各種洋流一樣。我們不能簡單的只在大樣本的層面進行統(tǒng)計分析，這樣得出的結果如果被用于對小樣本或樣本中的個體的估計或預測時就會出現偏差，因為每個小樣本可能有著一些它自己獨特的特征。在數據樣本小的時候，里面的小樣本相應的就更小。 這種情況下小樣本里的數據記錄可能只有一，兩個，它們只能被當作異常值處理，無法分析。而在大數據里，這種具有獨特特征的數據記錄收集出現多了，就擁有了被統(tǒng)計分析的條件，從而使我們更好地探究特定因素的關聯(lián)性，理解這些數據異質性。比如有些只在特定人群里發(fā)生
范文總結相關推薦
鄂ICP備17016276號-1