【正文】 和算法服務(wù)等核心組件。 一、云計(jì)算產(chǎn)生的背 景 互聯(lián)網(wǎng)的前身為冷戰(zhàn)期間美國(guó)所構(gòu)建抗打擊的軍事指揮系統(tǒng)研究 ARPANET，在 1969 年節(jié)點(diǎn)只有兩個(gè)， 5 年后也只不過幾十個(gè)節(jié)點(diǎn)。 圖 1 數(shù)據(jù)時(shí)代的挑戰(zhàn)與機(jī) 遇 對(duì)數(shù)據(jù)的獲取、傳輸、分析處理不僅改變了科學(xué)研究的模式，也已經(jīng)成為企業(yè)（特別是互聯(lián)網(wǎng)服務(wù)企業(yè)）的核心競(jìng)爭(zhēng)力。當(dāng)前眾多國(guó)際 IT 巨頭如 Google, Microsoft, Amazon, VMWare等都相繼推出去云計(jì)算產(chǎn)品服務(wù)，并制定了長(zhǎng)遠(yuǎn)發(fā)展規(guī)劃。 iVICvHaaS在管理數(shù)據(jù)中心資源的基礎(chǔ)上，提供彈性、可定制的虛擬機(jī)、虛擬網(wǎng)絡(luò)與虛擬集群，以及綠色節(jié)能、高可用的可持續(xù)服務(wù)能力。這 種開發(fā)方法討論如何按需、動(dòng)態(tài)的集成現(xiàn)有的服務(wù)組件，從而快速開發(fā)出滿足新需求的分布式軟件，這個(gè)過程也稱之為服務(wù)組合。它可以支持面向服務(wù)軟件開發(fā)的整個(gè)生命周期。 3 支持面向服務(wù)軟件開發(fā)與運(yùn)行的云平 臺(tái) 體系結(jié) 構(gòu) 支持面向服務(wù)軟件開發(fā)與運(yùn)行的云平臺(tái)按照功能可以劃分成三個(gè)模塊：服務(wù)資源共享平臺(tái)、在線和本地開發(fā)環(huán)境、服務(wù)軟件應(yīng)用引擎，見圖 1。 服務(wù)資源共享平臺(tái) ServiceXchange 服務(wù)資源共享平臺(tái) ServiceXchange[9]主要用于收集可用的 Web 服務(wù)資源，為 MyCloud(或本地開發(fā)工具集 )中進(jìn)行服務(wù)組合提供能滿足用戶需求的原子服務(wù)。它從原子服務(wù)的部署、業(yè)務(wù)流程建模、組合服務(wù)編制、組合服務(wù)部署和組合服務(wù)測(cè)試等方面全面支持組合服務(wù)的開發(fā)、部署和運(yùn)行。 AppEngine業(yè)務(wù)層內(nèi)核部分的主要作用包括多個(gè)內(nèi)核間的集群通信、對(duì)請(qǐng)求消息的路由和轉(zhuǎn)發(fā)、對(duì)業(yè)務(wù)組件的管理等。優(yōu)點(diǎn)是與開發(fā)語(yǔ)言無關(guān)；（ 3）使用 AppEngine的調(diào)用庫(kù) ，它面向第三方的 Java開發(fā)人員，支持所有 Web API 的調(diào)用 。圖 9 水平軸是 Web 服務(wù)中待攔截的系統(tǒng)調(diào)用行數(shù)，垂直軸是部署所用的時(shí)間，從圖 9 可以看出，由于采用了優(yōu)化方法，隨著待攔截系統(tǒng)調(diào)用數(shù)量的增加，攔截所帶來的時(shí)延是逐漸減小的，而且最大的時(shí)延也在 160ms 以內(nèi) 。 工作經(jīng)歷 2020/01 2020/04 電腦專賣店 | 市場(chǎng)主管 行業(yè)類別：計(jì)算機(jī)硬件 | 企業(yè)性質(zhì)：民營(yíng) | 規(guī)模： 20 人以下 | 職位月薪： 40016000 元 /月 工作描述： 在各工業(yè)區(qū)和住宅小區(qū)做廣告宣傳為店鋪銷售做鋪墊，并且為各用戶提供售后維護(hù)工作。 2020/06 2020/11 | 銷售主管 行業(yè)類別：教育 /培訓(xùn) /院校 | 企業(yè)性質(zhì)：民營(yíng) | 規(guī)模： 2099 人 | 職位月薪： 20204000 元 /月 工作描述： 為學(xué)校制定招生計(jì)劃，帶領(lǐng)招生專員在各社區(qū)以及學(xué)校周圍做廣告（包括粘貼墻體廣告，入戶拜訪宣傳）開展招生工作，定期到中小學(xué)校門口駐點(diǎn)宣傳，聯(lián)系各學(xué)校任課老師開展招生工作。期望月薪： 40016000 元 /月 工作地區(qū)： 深圳 其一，采用副本策略進(jìn)行 Web 服務(wù)的多副本部署，使得 Web 服務(wù)的容錯(cuò)能力提升，同時(shí)使得相應(yīng)的組合服務(wù)的可用性提高；其二，使用錯(cuò)誤恢復(fù)機(jī)制，該機(jī)制可以使得系統(tǒng)快速的從錯(cuò)誤狀態(tài)中恢復(fù)過來，在整體上保證系統(tǒng)對(duì)外持續(xù)提供服務(wù)的能力 。 對(duì)外接口 層 對(duì)外接口層是服務(wù)軟件應(yīng)用引擎對(duì)外提供服務(wù)的所有接口的實(shí)現(xiàn)層，它接收用戶的請(qǐng)求消息，在權(quán)限許可的條件下自動(dòng)尋址到對(duì)應(yīng)的業(yè)務(wù)組件進(jìn)行處理。 服務(wù)軟件應(yīng)用引擎 AppEngine 服務(wù)軟件應(yīng)用引擎 AppEngine是一組以平臺(tái)即服務(wù)模式提供出來的安裝在物理集群環(huán)境上的中間件套件，它們通過SOAP 和 HTTP 等通信協(xié)議對(duì)外暴露出功能接口，動(dòng)態(tài)的調(diào)度集群上的計(jì)算資源以滿足用戶的各種服務(wù)軟件部署和執(zhí)行請(qǐng)求。通過 Web 服務(wù)搜索功能以及Web 服務(wù)關(guān)系，用戶也可以快速定位自己需要的 Web 服務(wù)，如圖 4 所示?；旧希灰?wù)軟件開發(fā)完成，用戶通過 AppEngine提供的接口進(jìn)行部署， AppEngine就動(dòng)態(tài)的調(diào)度服務(wù)容器和組合服務(wù)引擎，并把服務(wù)軟件部署到合適的計(jì)算節(jié)點(diǎn)上。對(duì)于第一個(gè)問題，可以把開發(fā)工具以 SaaS的方式提供給開發(fā)人員，開發(fā)人員無論何時(shí)何地、只要通過網(wǎng)絡(luò)即可訪問到最新版本的開發(fā)工具，也避免了工具的配置過程 。另外，在以前的工作中，我們已經(jīng)開發(fā)了一個(gè)面向服務(wù)的軟件生產(chǎn)線系統(tǒng) [5][6]，它包括一個(gè)面向服務(wù)的軟件開發(fā)工具集、支持組合服務(wù)運(yùn)行的中間件以及用于 原子服務(wù)存儲(chǔ)的服務(wù)庫(kù)。 隨著互聯(lián)網(wǎng)的快速發(fā)展，企業(yè)應(yīng)用呈爆發(fā)式增長(zhǎng)。對(duì)于傳統(tǒng)軟件的使用，我們記憶猶新，最早買一款新軟件要到中關(guān)村逛好幾個(gè)地方，回來要經(jīng)過復(fù)雜的安裝和試用階段，而且要自己維護(hù)軟件并進(jìn)行更新等。第二，在大規(guī)模數(shù)據(jù)的實(shí)時(shí)處理方面，體現(xiàn)各類科學(xué)計(jì)算，預(yù)測(cè)分析等應(yīng)用中，我們?cè)谇懊娴臄?shù)據(jù)經(jīng)濟(jì)時(shí)代已經(jīng)看到很多這方面的需求和案例，特別是在氣候變化、醫(yī)療領(lǐng)域具有強(qiáng)烈的應(yīng)用需求。另一面的特征被稱為 “Data Economy”，首先 ，我們的世界有著不可想象的龐大數(shù)據(jù)信息，其規(guī)模正以越來越快的速度增長(zhǎng)著，這使得我們之前無法想象的分析可以得以完成，例如發(fā)現(xiàn)市場(chǎng)趨勢(shì)、預(yù)防疾病、打擊犯罪等。在數(shù)據(jù)挖掘云服務(wù)中，為使海量數(shù)據(jù)挖掘應(yīng)用服務(wù)化，提供從 Hadoop 資源分配到目錄服務(wù)，再到流管理等一系列的組件服務(wù)，繼而提高海量數(shù)據(jù)挖掘軟件的服務(wù)能力。用戶可以根據(jù)自己的需求以及付費(fèi)能力選擇適合自己的服務(wù)模式。 圖 2 Dodo 工具箱運(yùn)行流 程 在圖 2 中，如果用戶是首次啟動(dòng)工具箱，需要選擇連接的 Hadoop 環(huán)境并對(duì)環(huán)境進(jìn)行配置；當(dāng)用戶需要上傳數(shù)據(jù)，工具箱以樹形圖的形式，將用戶的數(shù)據(jù)上傳到指定的 Hadoop 路徑上；如果不是順序數(shù)據(jù)，工具箱則將其順序化然后存儲(chǔ)；在算法選擇階段，用戶可以選擇工具箱自帶的并行化數(shù)據(jù)挖掘算法，也可以選擇用戶指定的、本地的 jar 文件；通過工具箱，用戶能對(duì)選擇的算法進(jìn)行設(shè)置，其中包括輸入輸出路徑，算法特定的參數(shù)等等；最后在 Hadoop 環(huán)境上對(duì)指定輸入路徑上的數(shù)據(jù)運(yùn)行指定的算法，輸出結(jié)果以可視化的方式展示給用戶 。 三 基于 Hadoop 的并行數(shù)據(jù)挖掘算法工具箱 —— Dodo Weka是由新西蘭 Waikato 大學(xué)研發(fā)的數(shù)據(jù)處理和知識(shí)發(fā)現(xiàn)軟件包。但 Mahout 項(xiàng)目目前還缺少數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)展示和用戶交互，還不完全適合海量數(shù)據(jù)挖掘并行算法的性能評(píng)估。 （ 2）適合于云計(jì)算的海量數(shù)據(jù)挖掘并行算法。海量數(shù)據(jù)挖掘另一個(gè)核心問題是數(shù)據(jù)挖掘算法的并行化。在國(guó)內(nèi)， IBM 與無錫市共建了云計(jì)算中心，中石化集團(tuán)成功應(yīng)用IBM 的云計(jì)算方案建立起一個(gè)企業(yè)云計(jì)算平臺(tái)。在開源 Hadoop 云平臺(tái)上，中科院計(jì)算所研制了并行數(shù)據(jù)挖掘工具平臺(tái) PDMiner。在此基礎(chǔ)上，針對(duì)海量數(shù)據(jù)挖掘算法的特點(diǎn)對(duì)已有的云計(jì)算模型進(jìn)行優(yōu)化和擴(kuò)充，使其更適用于海量數(shù)據(jù)挖掘 。具體技術(shù)內(nèi)容包括 ： 1. 按需服務(wù)的自治計(jì)算模式。但由于 Mahout 并不提供一種圖形界面交互，用戶需要大量手工配置數(shù)據(jù)和參數(shù)，同時(shí)目前實(shí)現(xiàn)的并行數(shù)據(jù)挖掘算法也不完全。應(yīng)用中沒有復(fù)雜的流程，也沒有很多不同的角色。而最上層是客戶端組件，主要用于與用戶的直接交互。但到 1992 年，互聯(lián)網(wǎng)上已有超過 100 萬個(gè)節(jié)點(diǎn)。例如微軟的首席戰(zhàn)略規(guī)劃科學(xué)家 Mundie則稱 數(shù)據(jù)為中心的經(jīng)濟(jì)剛剛開始 ， IBM 社會(huì)信息學(xué)家柯他達(dá) (James Cortada)認(rèn)為 這么多的數(shù)據(jù)使我們處在一個(gè)不同的時(shí)代 ，而這樣的時(shí)代被 Berkeley 的計(jì)算機(jī)科學(xué)家 Joe Hellerstein 稱為 數(shù)據(jù)的工業(yè)革命 [4]。 2020 年 2 月，來自 UC Berkeley 高可靠適應(yīng)性分布式系統(tǒng)實(shí)驗(yàn)室（ UC Berkeley Reliable Adaptive Distributed Systems Laboratory） 的 11 位學(xué)者在聯(lián)合發(fā)表的一篇關(guān)于云計(jì)算的報(bào)告 [9]，從硬件租用和軟件應(yīng)用給出了云計(jì)算模式和概念發(fā)展趨勢(shì)給出了分析，對(duì)公用計(jì)算的分類、云計(jì)算的經(jīng)濟(jì)，特別是云計(jì)算的 10 大問題和應(yīng)對(duì)方式給出了獨(dú)特見解，其中有 3 項(xiàng)就涉及到應(yīng)用、數(shù)據(jù)安全和信任問題 。 iVICvSaaS針對(duì)云 計(jì)算和移動(dòng)互聯(lián)網(wǎng)新型應(yīng)用模式，旨在實(shí)現(xiàn)互聯(lián)網(wǎng)軟件 “按需分發(fā)、透明使用、集中運(yùn)營(yíng) ”，實(shí)現(xiàn)云計(jì)算軟件服務(wù)的虛擬桌面無縫融合，多類移動(dòng)終端普適和流式軟件及展現(xiàn)技術(shù)，為移動(dòng)互聯(lián)網(wǎng)軟件提供服務(wù)化運(yùn)營(yíng)平臺(tái)，并支持電信級(jí)的移動(dòng) OA企業(yè)應(yīng)用 。以業(yè)務(wù)流程為核心的服務(wù)組合是面向服務(wù)軟件開發(fā)方法的主流實(shí)現(xiàn)之一，類比傳統(tǒng)的軟件開發(fā)方法，它需要業(yè)務(wù)建模、組合服務(wù)編制、組合服務(wù)驗(yàn)證、組合服務(wù)測(cè)試等幾個(gè)階段。該系統(tǒng)著重解決了三個(gè)方面的問題：（ 1）服務(wù)資源管理。 圖 1 云計(jì)算平臺(tái)三大模 塊 其中，服務(wù)資源共享平臺(tái)負(fù)責(zé) Web 服務(wù)資源的注冊(cè)和收集、 Web 服務(wù)的組織、服務(wù)關(guān)系挖掘、服務(wù)可信保證以及服務(wù)搜索等。但由于 Web 服務(wù)所具有的分散、無序以及自治等特點(diǎn)， ServiceXchange面臨著一系列挑戰(zhàn) ： （ 1） 服務(wù)資源匯聚。MyCloud 的關(guān)鍵問題包括 ： （ 1）個(gè)性化的在線開發(fā)環(huán)境。原子服務(wù)部署 /反部署組件實(shí)現(xiàn)對(duì)原子服務(wù)的部署和反部署操作。 AppEngine 中的關(guān)鍵問 題 服務(wù)軟件應(yīng)用引擎 AppEngine作為整個(gè)云計(jì)算平臺(tái)的運(yùn)行支撐環(huán)境，既要在滿足用戶需求約束的情況下提供不間斷的部署和運(yùn)行服務(wù)，還要統(tǒng)籌調(diào)度軟件設(shè)備資源以免計(jì)算資源的浪費(fèi)或者能源的低效。 圖 9 系統(tǒng)調(diào)用攔截帶來的時(shí)延 圖 圖 10 文件調(diào)用隔離帶來的時(shí) 延 圖 10 給出了采用文件調(diào)用隔離前后系統(tǒng)的性能變化，從圖 10 中可以看出，系統(tǒng)響應(yīng)時(shí)間的增長(zhǎng)并不大，都小于 10%。 2020/06 2020/11 | 銷售主管 行業(yè)類別：教育 /培訓(xùn) /院校 | 企業(yè)性質(zhì)：民營(yíng) | 規(guī)模： 2099 人 | 職位月薪： 20204000 元 /月 工作描述： 為學(xué)校制定招生計(jì)劃，帶領(lǐng)招生專員在各社區(qū)以及學(xué)校周圍做廣告（包括粘貼墻體廣告，入戶拜訪宣傳）開展招生工作，定期到中小學(xué)校門口駐點(diǎn)宣傳，聯(lián)系各學(xué)校任課老師開展招生工作。 教育經(jīng)歷 2020/09 2020/06 湖南大學(xué) | 市場(chǎng)營(yíng)銷 | 本科 在校學(xué)習(xí)情況 曾獲 院校級(jí)三等獎(jiǎng) 在校實(shí)踐經(jīng)驗(yàn) 2020/03 2020/10 大學(xué)生英語(yǔ)周刊衡陽(yáng)市推銷員到衡陽(yáng)市區(qū)域經(jīng)理 *2020 年推銷員，在學(xué)校新生開學(xué)期間向?qū)W生和家長(zhǎng)推銷《學(xué)生英語(yǔ)報(bào)》 *20202020 年《學(xué)生英語(yǔ)報(bào)》衡陽(yáng)地區(qū)區(qū)域經(jīng)理，負(fù)責(zé)在衡陽(yáng)各高校組建團(tuán)隊(duì)銷售《學(xué)生英語(yǔ)報(bào)》，團(tuán)隊(duì)培訓(xùn)，團(tuán)隊(duì)維護(hù)，最后指導(dǎo)團(tuán)隊(duì)銷售。工作地區(qū)： 深圳 期望行業(yè)： 專業(yè)服務(wù) /咨詢 (財(cái)會(huì) /法律 /人力資源等 )、教育 /培訓(xùn) /院校、通信 /電信運(yùn)營(yíng)、增值服務(wù) 服務(wù)化軟件應(yīng)用引擎將從兩個(gè)方面來保證系統(tǒng)的高可用性。 圖 8 軟件設(shè)備層結(jié)構(gòu) 圖 軟件設(shè)備層實(shí)現(xiàn)的系統(tǒng)功能包括：（ 1）軟件設(shè)備的動(dòng)態(tài)部署、反部署；（ 2）軟件設(shè)備生命周期管理；（ 3）軟件設(shè)備的性能檢測(cè)和反饋；（ 4）軟件設(shè)備運(yùn)行日志存儲(chǔ)和反饋；（ 5）彈性的軟件設(shè)備調(diào)度和管理；（ 6）軟件設(shè)備容錯(cuò)以及錯(cuò)誤恢復(fù) 。改造的主要思路是把調(diào)用本地 API改為遠(yuǎn)程調(diào)用 PaaS層服務(wù)軟件應(yīng)用引擎暴露出來的 Web APIs。 圖 3 Web 服務(wù)搜 索 圖 4 Web 服務(wù)訂 閱 ServiceXchange目前支持關(guān)鍵詞、 Xpath 以及 Tag Cloud 等方式搜索 Web 服務(wù)，見圖 3。服務(wù)軟件應(yīng)用引擎有些類似Google App Engine[8] ,但 GAE只為 Java和 Python 應(yīng)用提供部署和運(yùn)行支持，并不支持面向服務(wù)的應(yīng)用。對(duì)開發(fā)人員來說，他們不僅要獲得足夠的物理基礎(chǔ)設(shè)施（一般需要物理集群），而且需要?jiǎng)討B(tài)確定每個(gè)原子服務(wù)和組合服務(wù)的部署策略。Hajjat 等 [4] 討論如何將傳統(tǒng)的企業(yè)應(yīng)用程序遷移到云計(jì)算環(huán)境中。所以，如果存在一 種按需可取、即時(shí)可用的 “開發(fā) ”服務(wù)，它把所有的開發(fā)工具和運(yùn)行環(huán)境以一種能力的形式提供出來，那么將會(huì)把開發(fā)人員從繁瑣的外部工作中解放出來，從而減輕開發(fā)人員的開發(fā)難度，減小整個(gè)軟件的開發(fā)周期 。 軟件發(fā)展已經(jīng)受到軟件生產(chǎn)、運(yùn)維的高昂成本制約。第一，在互聯(lián)網(wǎng)的業(yè)務(wù)成長(zhǎng)性和突發(fā)性需求方面，典型案例是