【正文】 法服務。數(shù)據(jù)挖掘云的底層組件中，需要根據(jù)云服務的自適應需求，實現(xiàn)優(yōu)化的資源分配和任務調(diào)度。數(shù)據(jù)挖掘云的中間層是數(shù)據(jù)挖掘云高層服務，包括目錄服務、效用服務、數(shù)據(jù)服務和算法服務等核心組件。而最上層是客戶端組件，主要用于與用戶的直接交互。用戶通過友好的可視化界面管理和監(jiān)視任務的執(zhí)行，并且很方便地查看任務執(zhí)行結(jié)果 。 在數(shù)據(jù)挖掘云的設計中，核心的組件有以下 6 個 ： 1. 目錄服務：各種資源都能以目錄的方式展示給用戶，用戶可以方便地展開目錄查看所有可用的資源 。 2. 資源分配和任務調(diào)度服務：把上層生成的執(zhí)行計劃映射到具體 的計算資源和節(jié)點上，然后進行任務的調(diào)度和執(zhí)行 。 3. 數(shù)據(jù)訪問服務：用戶根據(jù)自己的任務，需要查找、上傳或下載所需要的數(shù)據(jù)，數(shù)據(jù)訪問服務為用戶提供了良好的接口讓用戶方便進行這些操作 。 4. 算法和應用訪問服務：用戶在編輯工作流的時候，需要查找滿足需求的算法和應用，算法和應用服務提供了良好的接口讓用戶方便數(shù)據(jù)和應用的訪問 。 5. 流管理服務：流管理服務包括工作流的編輯和執(zhí)行，以及用戶對流的執(zhí)行過程的監(jiān)控和控制，并且在執(zhí)行過程中會生成相應的日志 。 6. 結(jié)果展示服務：任務執(zhí)行完畢以后，用戶需要查看任務的執(zhí)行結(jié)果，結(jié)果展示可能包含多種方式 ，圖狀的、表格式的、文本式的等方式 。 五 總 結(jié) 綜上所述，本文討論了基于云計算的海量數(shù)據(jù)挖掘的進展和主要技術(shù)熱點，并分析了基于 Hadoop 平臺的數(shù)據(jù)挖掘算法工具箱和數(shù)據(jù)挖掘云的結(jié)構(gòu)。 Dodo 工具箱主要實現(xiàn)海量數(shù)據(jù)挖掘算法 MapReduce化，以提高對海量數(shù)據(jù)的處理能力。在工具箱實現(xiàn)中，強調(diào)與 Hadoop 平臺的交互式配置，迭代 /非迭代類數(shù)據(jù)挖掘算法的并行化實現(xiàn)。在數(shù)據(jù)挖掘云服務中，為使海量數(shù)據(jù)挖掘應用服務化，提供從 Hadoop 資源分配到目錄服務，再到流管理等一系列的組件服務，繼而提高海量數(shù)據(jù)挖掘軟件的服務能力。作為能為企業(yè)效益增值的數(shù)據(jù)挖掘應用，本質(zhì)上具備了請求突發(fā)、需求多變，結(jié)果依賴于數(shù)據(jù)和算法的特點，因此必須進一步優(yōu)化云計算平臺，提高云平臺對按需服務的支撐能力 。 向云計算的虛擬化資源管理與軟件服 務 作者：李建欣，趙永望，劉旭東 20200520 本文按照 2020 年 4 月 22 日在深圳舉辦的核高基 61 課題組 “云計算技術(shù)研討會 ”的報告整理而成。在該報告中，主要基于北京航空航天大學課題組近年來在網(wǎng)絡計算方面的報告等 [1][2]，對云計算產(chǎn)生背景下的互聯(lián)網(wǎng)發(fā)展、海量數(shù)據(jù)處理需求、面向云計算資源管理與安全調(diào)整和需求、面向云計算的軟件服務模式發(fā)展以及北京航空航天大學新技術(shù)研究所當前的實踐等幾個方面對 “面向云計算的虛擬化資源管理與軟件服務 ”的發(fā)展和技術(shù)進行探討 。 一、云計算產(chǎn)生的背 景 互聯(lián)網(wǎng)的前身為冷戰(zhàn)期間美國所構(gòu)建抗打擊的軍事指揮系統(tǒng)研究 ARPANET，在 1969 年節(jié)點只有兩個， 5 年后也只不過幾十個節(jié)點。但到 1992 年，互聯(lián)網(wǎng)上已有超過 100 萬個節(jié)點。如今互聯(lián)網(wǎng)的用戶、數(shù)據(jù)和應用規(guī)模得到空前發(fā)展，互聯(lián)網(wǎng)已經(jīng)從第一階段的單純以節(jié)點連接通 道（其主要形式如 ）和傳統(tǒng)內(nèi)容獲?。ㄈ缭缙?Web 頁面），第二階段的體現(xiàn)用戶參與的 Web 時代，向著承載用戶數(shù)據(jù)中心和計算平臺方向發(fā)展?；ヂ?lián)網(wǎng)的在其蘊含著巨大市場和產(chǎn)業(yè)潛力的同時，也不斷改變傳統(tǒng)經(jīng)濟的模式。第一，互聯(lián)網(wǎng)的用戶和連接呈現(xiàn)普及化趨勢， 2020 年據(jù) InterWorldStats 的統(tǒng)計報告稱互聯(lián)網(wǎng)近 20 億用戶，美國自然科學基金預計 2020 年用戶數(shù)將達 50 億（全世界人口為 76 億），美國 CIA 在2020 年底發(fā)布的《 World Factbook》報告稱當前互聯(lián)網(wǎng)已經(jīng)有大約 億臺主機電腦，中國互聯(lián)網(wǎng)絡信息中心 CNNIC在 2020 年 1 月發(fā)布的《第 27 次中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告》顯示，我國網(wǎng)民人數(shù)已達 億，互聯(lián)網(wǎng)普及率已達 % [3]。第二，互聯(lián)網(wǎng)的軟件業(yè)務規(guī)模出現(xiàn)迅速攀升趨勢。在傳統(tǒng)產(chǎn)業(yè)模式中，一個公司形成過億用戶規(guī)模和業(yè)務量往往需要幾十年甚至更久的經(jīng)營，然而在互聯(lián)網(wǎng)軟件行業(yè)卻不斷締造新的神話，例如互聯(lián)網(wǎng)搜索公司 Google每秒就處理 10 億次查詢請求、社交網(wǎng)站 Facebook 突破 4 億用戶、視頻網(wǎng)站 YouTube每天的視頻播放達 4 億部、而騰訊 的同時在線用戶也過億 。 與互聯(lián)網(wǎng)蓬勃發(fā)展的同時，我們正處于一個 “大數(shù)據(jù) ”時代， 2020 年 2 月《 Economist》出版了專刊 Data, Data Everywhere [4]。 2020 年 2 月《 Science》又出版了 Dealing with data專刊。前英國 eScience首席科學家 Tony Hey 出版書籍《 The fourth Paradigm： Dataintensive Scientific Discovery》 [5]都表明數(shù)據(jù)分析已經(jīng)成為繼理論、實驗和計算的新的科學發(fā)現(xiàn)基礎(chǔ)，將成為用來解開經(jīng)濟價值的新來源 。 數(shù)據(jù)經(jīng)濟時代呈現(xiàn)出兩面特征，一面的特征被稱為 “Data Deluge”，例如歐洲原子核研究委員會 (CERN)在大型強子碰撞型加速裝置所做的有關(guān)實驗每秒產(chǎn)生 40 太字節(jié)（ terabytes）的數(shù)據(jù)流，這是一個無法被存儲或分析的數(shù)量級，所以科學家們只能盡力地收集信息，而丟棄剩余的數(shù)據(jù) [4]。在 2020 年， Facebook 每天有 1000 億的點擊量， 500 億張照片，每天 100 百億次點擊， 50 百億照片 , 3 萬億個對象被 Cache，每天 130 TB 的日志 [6]。另一面的特征被稱為 “Data Economy”，首先 ，我們的世界有著不可想象的龐大數(shù)據(jù)信息，其規(guī)模正以越來越快的速度增長著，這使得我們之前無法想象的分析可以得以完成，例如發(fā)現(xiàn)市場趨勢、預防疾病、打擊犯罪等。例如我們平時所熟悉的 word 等文字處理軟件，能夠自動提示和校正一些錯誤的輸入等，這個功能是微軟在二十年上花費了幾百萬美元所研發(fā)的拼寫檢查器。但是Google 卻通過用戶搜索過程輸入和修正行為，利用每天約 30 億次的搜索，很快積累出一套智能的拼寫錯誤校正服務 [4]。另一方面，在 eHealth 等醫(yī)療相關(guān)的領(lǐng)域領(lǐng)域中，計算機學者一直試圖通過分析人類的健康數(shù)據(jù)以及醫(yī) 療數(shù)據(jù)，提供更多參考式和經(jīng)驗式的輔助醫(yī)療手段 。 圖 1 數(shù)據(jù)時代的挑戰(zhàn)與機 遇 對數(shù)據(jù)的獲取、傳輸、分析處理不僅改變了科學研究的模式，也已經(jīng)成為企業(yè)（特別是互聯(lián)網(wǎng)服務企業(yè)）的核心競爭力。例如微軟的首席戰(zhàn)略規(guī)劃科學家 Mundie則稱 數(shù)據(jù)為中心的經(jīng)濟剛剛開始 ， IBM 社會信息學家柯他達 (James Cortada)認為 這么多的數(shù)據(jù)使我們處在一個不同的時代 ，而這樣的時代被 Berkeley 的計算機科學家 Joe Hellerstein 稱為 數(shù)據(jù)的工業(yè)革命 [4]。 因此，計算機的概念也在隨互聯(lián)網(wǎng)基礎(chǔ)設施發(fā)展和數(shù)據(jù)處理需求而得到延伸，如同 Google倡導的那樣 “The Data center as a Computer”。與這一現(xiàn)象同時，各種 PC、移動設備成為規(guī)模更大、類型更廣的終端。因此在網(wǎng)絡經(jīng)濟時代，如何獲取與管理海量真實的運行數(shù)據(jù)，并能有效地進行分析處理，就自然地成為一種核心競爭能力，也是超越傳統(tǒng)模式的關(guān)鍵途徑，為技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展帶來了無限生機和活力，從而形成 “真理盡在數(shù)據(jù)中 ”、 “效益也盡在數(shù)據(jù)中 ”效應 。 二、云計算及云計算資源管理技 術(shù) 實現(xiàn)按需獲取看似無限的計 算資源而構(gòu)建一套可伸縮、安全可靠的資源管理平臺，為用戶提供靈活可伸縮的工作負荷管理，解決大規(guī)模數(shù)據(jù)并行計算服務。圍繞云計算的定義和概念有很多，美國標準化技術(shù)委員會 NIST 的一個定義是 “云計算是一個模型，這個模型可以方便地按需訪問一個可配置的計算資源（例如，網(wǎng)絡、服務器、存儲設備、應用程序以及服務）的公共集。這些資源可以被迅速提供并發(fā)布，同時最小化管理成本或服務提供商的干涉 [7]。云模型由五個基本特征、三個服務模型和四個應用模式組成 ”。 從根本上講，云計算仍然是追求 “Utility Computing”的一 種途徑，這也是人類希望使用計算和存儲資源也能夠像用水、用電一樣方便快捷。催生云計算應用的發(fā)展，我們認為主要有三個方面：首先是互聯(lián)網(wǎng)業(yè)務的成長性和突發(fā)性，其次是需存儲、處理數(shù)據(jù)的海量性和實時性，最后就是低功耗和高可用的運維保障。第一，在互聯(lián)網(wǎng)的業(yè)務成長性和突發(fā)性需求方面，典型案例是 Facebook 的一款應用，所需的 Amazon EC2 服務器三天內(nèi)從 50 臺增長到 3500 臺， 2020 年 11 月11 日 “光棍節(jié) ”，淘寶商城半價促銷經(jīng)受了單日交易額 億，每秒超過 2 萬元交易額的系統(tǒng)壓力。第二，在大規(guī)模數(shù)據(jù)的實時處理方面，體現(xiàn)各類科學計算，預測分析等應用中，我們在前面的數(shù)據(jù)經(jīng)濟時代已經(jīng)看到很多這方面的需求和案例，特別是在氣候變化、醫(yī)療領(lǐng)域具有強烈的應用需求。例如在《 The fourth Paradigm： Dataintensive Scientific Discovery》 [5]提到近 3 年獲得的生物醫(yī)學數(shù)據(jù)超過過去 4 萬年的總和，一百年前一名醫(yī)師就可以被認為了解醫(yī)學領(lǐng)域的全部知識，而如今即便一位保健醫(yī)生也需了解大約 10000 種疾病和癥狀，擁有 3000 個臨床療程的經(jīng)驗， 并進行 1100次實驗室試驗，對于一名專業(yè)的流行病學醫(yī)師，每天至少需要 21 個小時的研究學習才可以跟上醫(yī)學數(shù)據(jù)發(fā)展的腳步，這顯然需要借助大規(guī)模數(shù)據(jù)分析來緩解數(shù)據(jù)的飛速膨脹。第三，在軟件運維的低功耗和高可用確保方面，通過大規(guī)模的實現(xiàn)能耗的低成本，并通過冗余災備實現(xiàn)高可用保障。在能耗方面，凸顯資源利用率低而數(shù)據(jù)中心用電已占世界電能的2%，信息與通信產(chǎn)業(yè)已成為全球第 5 大耗能行業(yè) , 互聯(lián)網(wǎng)數(shù)據(jù)中心目前也是能耗的一個重要的源頭，美國環(huán)?？偸穑?EPA）預測：目前，美國互聯(lián)網(wǎng)數(shù)據(jù)中心的能量消耗約為 610 億千瓦時，大致相當于美 國全國能源需求的 % [8], 截止 2020 年，互聯(lián)網(wǎng)數(shù)據(jù)中心的能源消耗將高達 1000 億千瓦時；在高可用方面，典型的案例包括 2020 年 2 月，Amazon 存儲服務 S3 故障，使得幾千網(wǎng)站服務受到影響。當前眾多國際 IT 巨頭如 Google, Microsoft, Amazon, VMWare等都相繼推出去云計算產(chǎn)品服務，并制定了長遠發(fā)展規(guī)劃。 2020 年 2 月，來自 UC Berkeley 高可靠適應性分布式系統(tǒng)實驗室（ UC Berkeley Reliable Adaptive Distributed Systems Laboratory） 的 11 位學者在聯(lián)合發(fā)表的一篇關(guān)于云計算的報告 [9]，從硬件租用和軟件應用給出了云計算模式和概念發(fā)展趨勢給出了分析，對公用計算的分類、云計算的經(jīng)濟，特別是云計算的 10 大問題和應對方式給出了獨特見解，其中有 3 項就涉及到應用、數(shù)據(jù)安全和信任問題 。 在云計算技術(shù)中，虛擬化是一種重要的是使能技術(shù)。虛擬機可以被視為軟件和硬件之間的中間層。通常，為解決計算機應用中遇到問題時引入的中間層分為兩種類型：抽象化 (Abstraction)、虛擬化 (Virtualization) [10]。抽象化的中間層對下層模塊提供的接口進行提煉、裁剪、重新定義后 , 暴露給上層模塊。虛擬化的中間層則不改變下層模塊接口的定義，僅在上層模塊調(diào)用下次接口時，進行截獲和重新解釋。虛擬機是在系統(tǒng)軟、硬件間引入虛擬層，可為應用提供獨立的運行環(huán)境，有效屏蔽硬件平臺的動態(tài)性、分布性和異構(gòu)性，支持硬件資源的共享和復用，并為每個用戶提供獨享的計算環(huán)境，具有透明性（ Transparent）、隔離性（ Isolation）、封裝性（ Encapsulation）和可管理性（ Manageability）等特征 。 三、面向云計算的軟件服 務 對于用戶來講，所需的是隨時隨地的計算服務和處理能力，而不是購買一臺裝在鐵皮箱子里的計算機，所需的是完成業(yè)務的服務，而不是購買一摞封面精美的光盤。對于互聯(lián)網(wǎng)的軟件，不可忽視的是移動與云的結(jié)合。對于 Apple，我們今天看到 AppStore模式已經(jīng)大獲成功，已經(jīng)有 35 萬種第三方軟件在應用，下載次數(shù)超 50 億次，盈利 億美元； Google的 Android Market 已經(jīng)有 40 萬種應用；在我國，中國移動構(gòu)建的 Mobile Market，已經(jīng)有 4 萬種應用， 10 萬試用用戶 。 軟件發(fā)展已經(jīng)受到軟件生產(chǎn)、運維的高昂成本制約。對于傳統(tǒng)軟件的使用，我們記憶猶新，最早買一款新軟件要到中關(guān)村逛好幾個地方