【正文】 Blobstore(二進(jìn)制存儲(chǔ))的大小1GBHTTP Response的大小10MB表1. App Engine的使用限制雖然這些限制對(duì)開發(fā)者是一種障礙，但對(duì)App Engine這樣的多租戶環(huán)境而且卻是非常重要的，因?yàn)槿绻粋€(gè)租戶的應(yīng)用消耗過多的資源的話，將會(huì)影響到在臨近應(yīng)用的正常使用，而App Engine上面這些限制就是為了是運(yùn)行在其平臺(tái)上面應(yīng)用能安全地運(yùn)行著想，避免了一個(gè)吞噬資源或惡性的應(yīng)用影響到臨近應(yīng)用的情況。但是由于CGI在架構(gòu)上的簡(jiǎn)單性使其成為GAE首選的編程模型，同時(shí)由于CGI支持無(wú)狀態(tài)模式，所以也在伸縮性方面非常有優(yōu) 勢(shì)。Java版App Engine SDK是以Eclispe Plugin形式發(fā)布，只要用戶在他的Eclipse上安裝這個(gè)Plugin，用戶就能啟動(dòng)本地Java沙箱來(lái)開發(fā)和調(diào)試應(yīng)用。管理界面用了讓用戶更好地管理應(yīng)用，Google提供了一整套完善的管理界面，地址是，而且只需用戶的Google帳戶就能登錄和使用。Blobstore因?yàn)镈atastore最多支持存儲(chǔ)1MB大小的數(shù)據(jù)對(duì)象，所以App Engine推出了Blobstore服務(wù)來(lái)存儲(chǔ)和調(diào)用那些大于1MB但小于2G的二進(jìn)制數(shù)據(jù)對(duì)象。用戶認(rèn)證App Engine的應(yīng)用可以依賴Google帳戶系統(tǒng)來(lái)驗(yàn)證用戶。這些任務(wù)通常稱為Cron job。URL抓取(Fetch)App Engine的應(yīng)用可以通過URL抓取這個(gè)服務(wù)抓取網(wǎng)上的資源，并可以這個(gè)服務(wù)來(lái)與其他主機(jī)進(jìn)行通信。在接口方面，Python版提供了非常豐富的接口，而且還包括名為GQL的查詢語(yǔ)言，而Java版則提供了標(biāo)準(zhǔn)的JDO和JPA這兩套API。通過這個(gè)Web容器不僅能運(yùn)行常見的Java Web 技術(shù)，包括Servlet，JSP，JSTL和GWT等，而且還能跑大多數(shù)常用的Java API(App Engine有一個(gè)The JRE Class White List（）來(lái) 定義那些Java API能在App Engine的環(huán)境中被使用)和一些基于JVM的腳本語(yǔ)言，例如JavaScript，Ruby或Scala等，但同樣無(wú)法創(chuàng)建Socket和 Thread，或者對(duì)文件進(jìn)行讀寫，也不支持一些比較高階的API和框架，包括JDBC，JSF，Struts 2，RMI，JAXRPC和Hibernate等。Python的實(shí)現(xiàn)Python版應(yīng)用服務(wù)器的基礎(chǔ)就是普通的Python ，并考慮在在未來(lái)版本中添加對(duì)Python 3的支持，但是因?yàn)镻ython 3對(duì)Python而言，就好比Java2之于Java1，跨度非常大，所以引入Python3的難度很大?！?服務(wù)：除了必備的應(yīng)用服務(wù)器和Datastore之外，GAE還自帶很多服務(wù)來(lái)幫助開發(fā)者，比如：Memcache，郵件，網(wǎng)頁(yè)抓取，任務(wù)隊(duì)列，XMPP等?！?利用管理界面來(lái)監(jiān)控整個(gè)應(yīng)用的運(yùn)行狀態(tài)和資費(fèi)。使用流程整個(gè)使用流程主要包括五個(gè)步驟：◆ 下載SDK和IDE，并在本地搭建開發(fā)環(huán)境。◆ 能對(duì)應(yīng)用進(jìn)行自動(dòng)擴(kuò)展和負(fù)載平衡。同時(shí)提供大量的免費(fèi)額度和靈活的資費(fèi)標(biāo)準(zhǔn)。有趣的是，Google在硬件方面也引 入類似服務(wù)器整合的想法，它的做法是在一個(gè)機(jī)箱大小的空間內(nèi)放置兩臺(tái)服務(wù)器，這些做的好處有很多，首先，減小了占地面積。雖然大型UPS可以達(dá)到92%到95%的效率，%而言是非常捉襟見肘 的，而且由于能量守恒的原因，導(dǎo)致那么未被UPS充分利用的電力會(huì)被轉(zhuǎn)化成熱能，這將導(dǎo)致用于空調(diào)的能耗相應(yīng)地攀升，從而走入一個(gè)惡性循環(huán)。如果做好這兩點(diǎn)，數(shù)據(jù)中心就能夠在高溫下工作，因?yàn)榧僭O(shè)數(shù)據(jù)中心的 管理員能對(duì)數(shù)據(jù)中心的溫度進(jìn)行正負(fù)1/2度的調(diào)節(jié)，這將使服務(wù)器設(shè)備能在崩潰點(diǎn)5度之內(nèi)工作，而不是常見的20度之內(nèi)，這樣既經(jīng)濟(jì)，又安全。同時(shí)Google也已經(jīng)將這兩方面的代碼提交給相關(guān)組織?！?吞吐量驚人：通過巨大的MySQL分片集群能滿足巨量的查詢請(qǐng)求?！?強(qiáng)大的擴(kuò)展能力，能支持百萬(wàn)臺(tái)服務(wù)器級(jí)別的集群?！?基于分層目錄和行的細(xì)粒度的復(fù)制和權(quán)限管理。其次BigTable也分為兩部分：其一是Master節(jié) 點(diǎn)，用來(lái)處理元數(shù)據(jù)相關(guān)的操作并支持負(fù)載均衡。 反向的URL 。除了Google的Sawzall之外，yahoo推出了相似的Pig語(yǔ)言，但其語(yǔ)法類似于SQL。MapReduce可用于包括分布grep，分布排序，web訪問日志分析，反向索引構(gòu)建，文檔聚類，機(jī) 器學(xué)習(xí)，基于統(tǒng)計(jì)的機(jī)器翻譯，生成Google的整個(gè)搜索的索引等大規(guī)模數(shù)據(jù)處理工作。也就意味著，Map操作是高度并行的。與Protocol Buffer比較類似的產(chǎn)品還有Facebook的 Thrift ，而且 Facebook 號(hào)稱Thrift在速度上還有一定的優(yōu)勢(shì)。Chubby簡(jiǎn)單的來(lái)說(shuō)，Chubby 屬于分布式鎖服務(wù)，通過 Chubby，一個(gè)分布式系統(tǒng)中的上千個(gè)client都能夠?qū)τ谀稠?xiàng)資源進(jìn)行加鎖或者解鎖，常用于BigTable的協(xié)作工作，在實(shí)現(xiàn)方面是通過 對(duì)文件的創(chuàng)建操作來(lái)實(shí)現(xiàn)加鎖，并基于著名科學(xué)家Leslie Lamport的Paxos算法?！?支持壓縮：對(duì)于那些稍舊的文件，可以通過對(duì)它進(jìn)行壓縮，來(lái)節(jié)省硬盤空間，并且壓縮率非常驚人，有時(shí)甚至接近90%。其次，在Chunk層，GFS已經(jīng)在設(shè)計(jì)上將節(jié)點(diǎn)失敗視為常態(tài)，所以能非常好地處理Chunk節(jié)點(diǎn)失效的問題?！?Chunk節(jié)點(diǎn)：顧名思義，肯定用來(lái)存儲(chǔ)Chunk，數(shù)據(jù)文件通過被分割為每個(gè)默認(rèn)大小為64MB的Chunk的方式存儲(chǔ)，而且每個(gè)Chunk有唯一一個(gè)64位標(biāo)簽，并且每個(gè)Chunk都會(huì)在整個(gè)分布式系統(tǒng)被復(fù)制多次，默認(rèn)為3次。分布式基礎(chǔ)設(shè)施GFS由于搜索引擎需要處理海量的數(shù)據(jù)，所以Google的兩位創(chuàng)始人Larry Page和Sergey Brin在創(chuàng)業(yè)初期設(shè)計(jì)一套名為BigFiles的文件系統(tǒng)，而GFS(全稱為Google File System)這套分布式文件系統(tǒng)則是BigFiles的延續(xù)。本篇將主要介紹Google的十個(gè)核心技術(shù)，而且可以分為四大類：◆ 分布式基礎(chǔ)設(shè)施：GFS、Chubby 和 Protocol Buffer。全部文章有點(diǎn)長(zhǎng)，請(qǐng)耐心看下去，相信程序員都是有耐心的，除了我.......一、Google的核心技術(shù)在切入Google App Engine之前，首先會(huì)對(duì)Google的核心技術(shù)和其整體架構(gòu)進(jìn)行分析，以幫助大家之后更好地理解Google App Engine的實(shí)現(xiàn)?！?數(shù)據(jù)中心優(yōu)化技術(shù)：數(shù)據(jù)中心高溫化、12V電池和服務(wù)器整合。還有Master節(jié)點(diǎn)會(huì)周期性地接收從每個(gè)Chunk節(jié)點(diǎn)來(lái)的更新(Heart beat)來(lái)讓元數(shù)據(jù)保持最新狀態(tài)。◆ 支持容錯(cuò)：首先，雖然當(dāng)時(shí)為了設(shè)計(jì)方便，采用了單Master的方案，但是整個(gè)系統(tǒng)會(huì)保證每個(gè)Master都會(huì)有其相對(duì)應(yīng)的復(fù)制品，以便于在 Master節(jié)點(diǎn)出現(xiàn)問題時(shí)進(jìn)行切換?！?擴(kuò)展能力強(qiáng)：因?yàn)樵獢?shù)據(jù)偏小，使得一個(gè)Master節(jié)點(diǎn)能控制上千個(gè)存數(shù)據(jù)的Chunk節(jié)點(diǎn)。但由于 GFS主要為搜索而設(shè)計(jì)，所以不是很適合新的一些Google產(chǎn)品，比YouTube、Gmail和更強(qiáng)調(diào)大規(guī)模索引和實(shí)時(shí)性的Caffeine搜索引擎 等，所以Google已經(jīng)在開發(fā)下一代GFS，代號(hào)為Colossus，并且在設(shè)計(jì)方面有許多不同，比如：支持分布式Master節(jié)點(diǎn)來(lái)提升高可用性 并能支撐更多文件，Chunk節(jié)點(diǎn)能支持1MB大小的chunk以支撐低延遲應(yīng)用的需要。其二是數(shù)據(jù)存儲(chǔ)方面，因?yàn)樗悦枋?，?且壓縮很方便，所以可用于對(duì)數(shù)據(jù)進(jìn)行持久化，比如存儲(chǔ)日志信息，并可被Map Reduce程序處理。Map會(huì)先對(duì)由很多獨(dú)立元素組成的邏輯列表中的每一個(gè)元素進(jìn)行指定的操作，且原始列表不會(huì)被更改，會(huì)創(chuàng)建多個(gè)新的列表來(lái)保存Map的處理結(jié) 果。最后，通過MapReduce這么簡(jiǎn)單的編程模型，不僅能用于處理大規(guī)模數(shù)據(jù)，而且能將很多繁瑣的細(xì)節(jié)隱藏起來(lái)，比如自動(dòng)并行化，負(fù)載均衡和機(jī)器宕 機(jī)處理等，這樣將極大地簡(jiǎn)化程序員的開發(fā)工作。它主要用于對(duì)大規(guī)模分布式數(shù)據(jù)進(jìn)行篩選和聚合等高級(jí)數(shù)據(jù)處理操作，在實(shí)現(xiàn)方面，是通過解釋器將其轉(zhuǎn)化 為相對(duì)應(yīng)的MapReduce任務(wù)。什么是多級(jí)映射的數(shù)據(jù)結(jié)構(gòu)呢?就是一個(gè)稀疏的，多維的，排序的Ma