【文章內(nèi)容簡(jiǎn)介】 EE 開(kāi)發(fā)平臺(tái)上進(jìn)行開(kāi)發(fā)實(shí)施，基于 B/S 三層體系架構(gòu)實(shí)現(xiàn)，采用界面表示、業(yè)務(wù)邏輯、數(shù)據(jù)操作相分離的模式，客戶不能直接與數(shù)據(jù)庫(kù)交互，它首先與中間層聯(lián)系，中間層實(shí)例化服務(wù)器應(yīng)用程序，并管理服務(wù)器對(duì)象，將結(jié)果返回給客戶。 J2EE 三層架構(gòu)示意圖如圖 2 所示。 圖 2 J2EE 三層架構(gòu)示意圖 整體架構(gòu) 本系統(tǒng)基于云思想構(gòu)建校園托管平臺(tái)，主要分為中間層和顯示層 ，系統(tǒng)整體架構(gòu)圖如圖 3所示 。 中間層：這層是承上啟下的，它在下面的基礎(chǔ)設(shè)施層所提供資源的基礎(chǔ)上提供了多種服務(wù)，主要包括：應(yīng)用服務(wù)器服務(wù) 、關(guān)系型數(shù)據(jù)庫(kù)服務(wù)、并行處理服務(wù)、文件存儲(chǔ)服務(wù)和代碼版本控制服務(wù)。而且這些服務(wù)用于支撐顯示層。 顯示層：主要是用于以友好的方式展現(xiàn)用戶所需的內(nèi)容，并會(huì)利用中間層提供的各種服務(wù)，是用戶使用 Paas 平臺(tái)的接口 。 圖 3 整體架構(gòu)圖 8 基于 hadoop 校園應(yīng)用托管平臺(tái)包括八大模塊，分別為首頁(yè)、新手指南、應(yīng)用商店、組建團(tuán)隊(duì)、校園威客、文檔中心、聯(lián)系我們、個(gè)人中心。平臺(tái)特別注重用戶體驗(yàn)，統(tǒng)一樣式，顏色搭配以淺色為主，簡(jiǎn)單樸素，給人一種很清新的感覺(jué)。 系統(tǒng)功能模塊如圖 4 所示。 圖 4 功能模塊圖 3 關(guān)鍵技術(shù)及成熟度分析 HDFS 技術(shù) Hadoop Distributed File System，簡(jiǎn)稱(chēng) HDFS，是一個(gè)分布式文件系統(tǒng)。 HDFS 有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上。而且它提供高吞吐量來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。 HDFS 放寬了 POSIX 的要求這樣可以實(shí)現(xiàn)流的形式訪問(wèn)文件系統(tǒng)中的數(shù)據(jù)。 本平臺(tái)的數(shù)據(jù)主要分兩種：一種是關(guān)系型數(shù)據(jù)，可以存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，另外一種是文件數(shù)據(jù)，并且每一個(gè)應(yīng)用的文件類(lèi)型和文件大小以及未來(lái)文件增長(zhǎng)方式我們都不得而知，采用 分布式文件存儲(chǔ)再合適不過(guò)了，把文件備份，文件負(fù)載，大數(shù)據(jù)的存儲(chǔ)等問(wèn)題都有 HDFS來(lái)替我們解決，本平臺(tái)為用戶提供一個(gè)分布式文件的接口，通過(guò) Java 可以直接調(diào)用 HDFS 的API，這樣所有應(yīng)用的文件數(shù)據(jù)存儲(chǔ)都有 HDFS 來(lái)完成。 9 MapReduce 技術(shù) MapReduce 是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。概念 Map（映射） 和 Reduce（化簡(jiǎn)） ，他極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。 當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè) Map（映射）函數(shù)，用來(lái)把一組鍵值對(duì) 映射成一組新的鍵值對(duì)，指定并發(fā)的 Reduce（化簡(jiǎn)）函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組 MapReduce 通過(guò)把對(duì)數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上的每個(gè)節(jié)點(diǎn)實(shí)現(xiàn)可靠性；每個(gè)節(jié)點(diǎn)會(huì)周期性的把完成的工作和狀態(tài)的更新報(bào)告回來(lái)。如果一個(gè)節(jié)點(diǎn)保持沉默超過(guò)一個(gè)預(yù)設(shè)的時(shí)間間隔，主節(jié)點(diǎn)記錄下這個(gè)節(jié)點(diǎn)狀態(tài)為死亡，并把分配給這個(gè)節(jié)點(diǎn)的數(shù)據(jù)發(fā)到別的節(jié)點(diǎn)。每個(gè)操作使用命名文件的原子操作以確保不會(huì)發(fā)生并行線程間的沖突；當(dāng)文件被改名的時(shí)候，系統(tǒng)可能會(huì)把他們復(fù)制到任務(wù)名以外的另一個(gè)名字上去。（避免副作用）?；?jiǎn)操作工 作方式很類(lèi)似，但是由于化簡(jiǎn)操作的并行能力較差，主節(jié)點(diǎn)會(huì)盡量把化簡(jiǎn)操作調(diào)度在一個(gè)節(jié)點(diǎn)上，或者離需要操作的數(shù)據(jù)盡可能近的節(jié)點(diǎn)上了 [5]。在本平臺(tái)中， MapReduce 用在 web 訪問(wèn)日志分析 和 文檔聚類(lèi)。 圖 5 MapReduce 工作機(jī)制 Applier 技術(shù) MySQL Applier for Hadoop 是一個(gè)用來(lái)將 Hadoop 和 MySQL 中的數(shù)據(jù)相互轉(zhuǎn)移的工具，可以將一個(gè) MySQL 中的數(shù)據(jù)導(dǎo)進(jìn)到 Hadoop 的 HDFS 中，也可以將 HDFS 的數(shù)據(jù)導(dǎo)進(jìn)到非關(guān)系 10 型數(shù)據(jù)庫(kù)中。 在 Hadoop Applier 之 前，還沒(méi)有任何工具可以執(zhí)行實(shí)時(shí)傳輸。之前的解決方案是通過(guò)Apache Sqoop 導(dǎo)出數(shù)據(jù)到 HDFS，盡管可以批量傳輸，但是需要經(jīng)常將結(jié)果重復(fù)導(dǎo)入以保持?jǐn)?shù)據(jù)更新。在進(jìn)行大量數(shù)據(jù)傳輸時(shí)，其他查詢會(huì)變得很慢。且在數(shù)據(jù)庫(kù)較大的情況下，如果只進(jìn)行了一點(diǎn)更改， Sqoop 可能也需要較長(zhǎng)時(shí)間來(lái)加載。 而 Hadoop Applier 則會(huì)讀取二進(jìn)制日志，只應(yīng)用 MySQL 服務(wù)器上發(fā)生的事件，并插入數(shù)據(jù)，不需要批量傳輸，操作更快，因此并不影響其他查詢的執(zhí)行速度。 Tomcat 技術(shù) 目前平臺(tái)使用的應(yīng)用服務(wù)器是 Tomcat， Tomcat 服務(wù)器是一個(gè)免費(fèi)的開(kāi)放源碼的 Web 應(yīng)用服務(wù)器，是一個(gè)輕量級(jí)應(yīng)用的服務(wù)器，運(yùn)行時(shí)占用系統(tǒng)資源小，擴(kuò)展性好，支持負(fù)載平衡與郵件服務(wù)等開(kāi)發(fā)應(yīng)用系統(tǒng)的常用功能。由于有了 Sun 的參與和支持，最新的 Servlet 和 JSP 規(guī)范總是能在 Tomcat 中得到體現(xiàn)， Tomcat 5 支持最新的 Servlet 和 JSP 規(guī)范。因?yàn)?Tomcat 技術(shù)先進(jìn)、性能穩(wěn)定，而且免費(fèi)，因而深受 Java 愛(ài)好者的喜愛(ài)并得到了部分軟件開(kāi)發(fā)商的認(rèn)可，成為目前主流的 Web 應(yīng)用服務(wù)器。 MySQL 技術(shù) MySQL 是一個(gè)開(kāi)放源碼的關(guān)聯(lián)式數(shù)據(jù)庫(kù)管理系統(tǒng)，目前 MySQL 被廣泛地應(yīng)用在 Inter上的各種類(lèi)型網(wǎng)站中。由于其體積小、速度快、總體擁有成本低，尤其是開(kāi)放源碼這一特點(diǎn)，許多中小型網(wǎng)站為了降低網(wǎng)站總體擁有成本而選擇了 MySQL 作為網(wǎng)站數(shù)據(jù)庫(kù)。 因?yàn)?MySQL 的簡(jiǎn)單易學(xué)，很多同學(xué)在開(kāi)發(fā)項(xiàng)目的時(shí)候使用的關(guān)系型數(shù)據(jù)庫(kù)是 MySQL，本平臺(tái)會(huì)給每一個(gè)用戶分配一個(gè) MySQL 的 URL、賬號(hào)和密碼，供用戶使用 MySQL 服務(wù)，每一個(gè)用戶對(duì)應(yīng)只有一個(gè)數(shù)據(jù)庫(kù)，并且擁有的賬號(hào)和密碼只能訪問(wèn)用戶自身的數(shù)據(jù)庫(kù)，沒(méi)有權(quán)限訪問(wèn)其他數(shù)據(jù) 庫(kù)信息，很大的保障了信息的安全性。 AJAX 技術(shù) AJAX 不是一種新的編程語(yǔ)言，而是一種用于創(chuàng)建更好更快以及交互性更強(qiáng)的 Web 應(yīng)用程序的技術(shù)。通過(guò) AJAX，您的 JavaScript 可使用 JavaScript 的 XMLHttpRequest 對(duì)象來(lái)直接與服務(wù)器進(jìn)行通信。通過(guò)這個(gè)對(duì)象，您的 JavaScript 可在不重載頁(yè)面的情況與 Web 服務(wù)器交換數(shù)據(jù)。 AJAX 在瀏覽器與 Web 服務(wù)器之間使用異步數(shù)據(jù)傳輸（ HTTP 請(qǐng)求），這樣就可使網(wǎng)頁(yè)從服務(wù)器請(qǐng)求少量的信息，而不是整個(gè)頁(yè)面。 AJAX 可 使因特網(wǎng)應(yīng)用程序更小、更快，更友好。 AJAX 是一種獨(dú)立于 Web 服務(wù)器軟件的瀏覽器技術(shù)。 11 4 實(shí)施效果 在如圖 6 所示的 hadoop 作業(yè) 界面 中，可查看到 MapReduce 在處理 20G 數(shù)據(jù)時(shí)候的任務(wù)執(zhí)行情況， 圖 6 任務(wù) 運(yùn)行信息 12 在如圖 7 所示 單機(jī)版和具有一個(gè)主節(jié)點(diǎn)和四個(gè)數(shù)據(jù)結(jié)點(diǎn)的集群進(jìn)行計(jì)算 耗時(shí) 比較 ，他們采用同一批數(shù)據(jù)，產(chǎn)生同樣的結(jié)果，使用最優(yōu)的算法，處理時(shí)間單位為秒，可見(jiàn)數(shù)據(jù)越大集群的優(yōu)勢(shì)越來(lái)越明顯。 而且集群有強(qiáng)大的擴(kuò)展能力。 05001000150020xx25003000350040004500300M 1200M 2400M 4800M 9600M 19200M單機(jī)集群 圖 7 集群與單機(jī)計(jì)算 耗時(shí)比較 在如圖 8 所示的 HDFS 界面