【文章內(nèi)容簡介】 EE 開發(fā)平臺上進行開發(fā)實施，基于 B/S 三層體系架構(gòu)實現(xiàn)，采用界面表示、業(yè)務(wù)邏輯、數(shù)據(jù)操作相分離的模式，客戶不能直接與數(shù)據(jù)庫交互，它首先與中間層聯(lián)系，中間層實例化服務(wù)器應(yīng)用程序，并管理服務(wù)器對象，將結(jié)果返回給客戶。 J2EE 三層架構(gòu)示意圖如圖 2 所示。 圖 2 J2EE 三層架構(gòu)示意圖 整體架構(gòu) 本系統(tǒng)基于云思想構(gòu)建校園托管平臺，主要分為中間層和顯示層 ，系統(tǒng)整體架構(gòu)圖如圖 3所示 。 中間層：這層是承上啟下的，它在下面的基礎(chǔ)設(shè)施層所提供資源的基礎(chǔ)上提供了多種服務(wù)，主要包括：應(yīng)用服務(wù)器服務(wù) 、關(guān)系型數(shù)據(jù)庫服務(wù)、并行處理服務(wù)、文件存儲服務(wù)和代碼版本控制服務(wù)。而且這些服務(wù)用于支撐顯示層。 顯示層：主要是用于以友好的方式展現(xiàn)用戶所需的內(nèi)容，并會利用中間層提供的各種服務(wù)，是用戶使用 Paas 平臺的接口 。 圖 3 整體架構(gòu)圖 8 基于 hadoop 校園應(yīng)用托管平臺包括八大模塊，分別為首頁、新手指南、應(yīng)用商店、組建團隊、校園威客、文檔中心、聯(lián)系我們、個人中心。平臺特別注重用戶體驗，統(tǒng)一樣式，顏色搭配以淺色為主，簡單樸素，給人一種很清新的感覺。 系統(tǒng)功能模塊如圖 4 所示。 圖 4 功能模塊圖 3 關(guān)鍵技術(shù)及成熟度分析 HDFS 技術(shù) Hadoop Distributed File System，簡稱 HDFS，是一個分布式文件系統(tǒng)。 HDFS 有著高容錯性的特點，并且設(shè)計用來部署在低廉的硬件上。而且它提供高吞吐量來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。 HDFS 放寬了 POSIX 的要求這樣可以實現(xiàn)流的形式訪問文件系統(tǒng)中的數(shù)據(jù)。 本平臺的數(shù)據(jù)主要分兩種：一種是關(guān)系型數(shù)據(jù)，可以存儲在關(guān)系型數(shù)據(jù)庫中，另外一種是文件數(shù)據(jù)，并且每一個應(yīng)用的文件類型和文件大小以及未來文件增長方式我們都不得而知，采用 分布式文件存儲再合適不過了，把文件備份，文件負載，大數(shù)據(jù)的存儲等問題都有 HDFS來替我們解決，本平臺為用戶提供一個分布式文件的接口，通過 Java 可以直接調(diào)用 HDFS 的API，這樣所有應(yīng)用的文件數(shù)據(jù)存儲都有 HDFS 來完成。 9 MapReduce 技術(shù) MapReduce 是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運算。概念 Map（映射） 和 Reduce（化簡） ，他極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。 當前的軟件實現(xiàn)是指定一個 Map（映射）函數(shù)，用來把一組鍵值對 映射成一組新的鍵值對，指定并發(fā)的 Reduce（化簡）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組 MapReduce 通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個節(jié)點實現(xiàn)可靠性；每個節(jié)點會周期性的把完成的工作和狀態(tài)的更新報告回來。如果一個節(jié)點保持沉默超過一個預(yù)設(shè)的時間間隔，主節(jié)點記錄下這個節(jié)點狀態(tài)為死亡，并把分配給這個節(jié)點的數(shù)據(jù)發(fā)到別的節(jié)點。每個操作使用命名文件的原子操作以確保不會發(fā)生并行線程間的沖突；當文件被改名的時候，系統(tǒng)可能會把他們復(fù)制到任務(wù)名以外的另一個名字上去。（避免副作用）?；啿僮鞴?作方式很類似，但是由于化簡操作的并行能力較差，主節(jié)點會盡量把化簡操作調(diào)度在一個節(jié)點上，或者離需要操作的數(shù)據(jù)盡可能近的節(jié)點上了 [5]。在本平臺中， MapReduce 用在 web 訪問日志分析 和 文檔聚類。 圖 5 MapReduce 工作機制 Applier 技術(shù) MySQL Applier for Hadoop 是一個用來將 Hadoop 和 MySQL 中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個 MySQL 中的數(shù)據(jù)導(dǎo)進到 Hadoop 的 HDFS 中，也可以將 HDFS 的數(shù)據(jù)導(dǎo)進到非關(guān)系 10 型數(shù)據(jù)庫中。 在 Hadoop Applier 之 前，還沒有任何工具可以執(zhí)行實時傳輸。之前的解決方案是通過Apache Sqoop 導(dǎo)出數(shù)據(jù)到 HDFS，盡管可以批量傳輸，但是需要經(jīng)常將結(jié)果重復(fù)導(dǎo)入以保持數(shù)據(jù)更新。在進行大量數(shù)據(jù)傳輸時，其他查詢會變得很慢。且在數(shù)據(jù)庫較大的情況下，如果只進行了一點更改， Sqoop 可能也需要較長時間來加載。 而 Hadoop Applier 則會讀取二進制日志，只應(yīng)用 MySQL 服務(wù)器上發(fā)生的事件，并插入數(shù)據(jù)，不需要批量傳輸，操作更快，因此并不影響其他查詢的執(zhí)行速度。 Tomcat 技術(shù) 目前平臺使用的應(yīng)用服務(wù)器是 Tomcat， Tomcat 服務(wù)器是一個免費的開放源碼的 Web 應(yīng)用服務(wù)器，是一個輕量級應(yīng)用的服務(wù)器，運行時占用系統(tǒng)資源小，擴展性好，支持負載平衡與郵件服務(wù)等開發(fā)應(yīng)用系統(tǒng)的常用功能。由于有了 Sun 的參與和支持，最新的 Servlet 和 JSP 規(guī)范總是能在 Tomcat 中得到體現(xiàn)， Tomcat 5 支持最新的 Servlet 和 JSP 規(guī)范。因為 Tomcat 技術(shù)先進、性能穩(wěn)定，而且免費，因而深受 Java 愛好者的喜愛并得到了部分軟件開發(fā)商的認可，成為目前主流的 Web 應(yīng)用服務(wù)器。 MySQL 技術(shù) MySQL 是一個開放源碼的關(guān)聯(lián)式數(shù)據(jù)庫管理系統(tǒng)，目前 MySQL 被廣泛地應(yīng)用在 Inter上的各種類型網(wǎng)站中。由于其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網(wǎng)站為了降低網(wǎng)站總體擁有成本而選擇了 MySQL 作為網(wǎng)站數(shù)據(jù)庫。 因為 MySQL 的簡單易學，很多同學在開發(fā)項目的時候使用的關(guān)系型數(shù)據(jù)庫是 MySQL，本平臺會給每一個用戶分配一個 MySQL 的 URL、賬號和密碼，供用戶使用 MySQL 服務(wù)，每一個用戶對應(yīng)只有一個數(shù)據(jù)庫，并且擁有的賬號和密碼只能訪問用戶自身的數(shù)據(jù)庫，沒有權(quán)限訪問其他數(shù)據(jù) 庫信息，很大的保障了信息的安全性。 AJAX 技術(shù) AJAX 不是一種新的編程語言，而是一種用于創(chuàng)建更好更快以及交互性更強的 Web 應(yīng)用程序的技術(shù)。通過 AJAX，您的 JavaScript 可使用 JavaScript 的 XMLHttpRequest 對象來直接與服務(wù)器進行通信。通過這個對象，您的 JavaScript 可在不重載頁面的情況與 Web 服務(wù)器交換數(shù)據(jù)。 AJAX 在瀏覽器與 Web 服務(wù)器之間使用異步數(shù)據(jù)傳輸（ HTTP 請求），這樣就可使網(wǎng)頁從服務(wù)器請求少量的信息，而不是整個頁面。 AJAX 可 使因特網(wǎng)應(yīng)用程序更小、更快，更友好。 AJAX 是一種獨立于 Web 服務(wù)器軟件的瀏覽器技術(shù)。 11 4 實施效果 在如圖 6 所示的 hadoop 作業(yè) 界面 中，可查看到 MapReduce 在處理 20G 數(shù)據(jù)時候的任務(wù)執(zhí)行情況， 圖 6 任務(wù) 運行信息 12 在如圖 7 所示 單機版和具有一個主節(jié)點和四個數(shù)據(jù)結(jié)點的集群進行計算 耗時 比較 ，他們采用同一批數(shù)據(jù)，產(chǎn)生同樣的結(jié)果，使用最優(yōu)的算法，處理時間單位為秒，可見數(shù)據(jù)越大集群的優(yōu)勢越來越明顯。 而且集群有強大的擴展能力。 05001000150020xx25003000350040004500300M 1200M 2400M 4800M 9600M 19200M單機集群 圖 7 集群與單機計算 耗時比較 在如圖 8 所示的 HDFS 界面