【正文】 它可以被提交到Storm集群執(zhí)行。Topology可視為流轉(zhuǎn)換圖，圖中節(jié)點是一個Spout或Bolt，邊則表示Bolt訂閱了哪個Stream。當Spout或者Bolt發(fā)送元組時，它會把元組發(fā)送到每個訂閱了該Stream的Bolt上進行處理22一個Topolog由哪些組件組成？? Topology里面的每個處理組件（Spout或Bolt）都包含處理邏輯， 而組件之間的連接則表示數(shù)據(jù)流動的方向27Storm集群中的Master節(jié)點和Work節(jié)點各自運行什么后臺進程？這些進程又分別負責什么工作？Storm集群采用“Master—Worker”的節(jié)點方式：Master節(jié)點運行名為“Nimbus”的后臺程序（類似Hadoop中的“JobTracker”），負責在集群范圍內(nèi)分發(fā)代碼、為Worker分配任務和監(jiān)測故障Worker節(jié)點運行名為“Supervisor”的后臺程序，負責監(jiān)聽分配給它所在機器的工作，即根據(jù)Nimbus分配的任務來決定啟動或停止Worker進程，一個Worker節(jié)點上同時運行若干個Worker進程28 試述Zookeeper在Storm框架中的作用Storm使用Zookeeper來作為分布式協(xié)調(diào)組件，負責Nimbus和多個Supervisor之間的所有協(xié)調(diào)工作。借助于Zookeeper，若Nimbus進程或Supervisor進程意外終止，重啟時也能讀取、恢復之前的狀態(tài)并繼續(xù)工作，使得Storm極其穩(wěn)定31試述Storm框架的工作流程Storm的工作流程如下圖所示：? 所有Topology任務的提交必須在Storm客戶端節(jié)點上進行，提交后，由Nimbus節(jié)點分配給其他Supervisor節(jié)點進行處理? Nimbus節(jié)點首先將提交的Topology進行分片，分成一個個Task，分配給相應的Supervisor，并將Task和Supervisor相關的信息提交到Zookeeper集群上? Supervisor會去Zookeeper集群上認領自己的Task，通知自己的Worker進程進行Task的處理? 說明：在提交了一個Topology之后，Storm就會創(chuàng)建Spout/Bolt實例并進行序列化。之后，將序列化的組件發(fā)送給所有的任務所在的機器(即Supervisor節(jié)點)，在每一個任務上反序列化組件第11章 試述BSP模型中的超步的3個組件及具體含義。答：①局部通信。每個參與的處理器都有自身的計算任務，它們只讀取存儲在本地內(nèi)存中的值，不同處理器的計算任務都是異步并且獨立的。②通信。處理器群相互交換數(shù)據(jù)，交換的形式是，由一方發(fā)起推送（Put）和獲?。℅et）操作③柵欄同步。當一個處理器遇到“路障”（或柵欄），會等其他所有的處理器完成它們的計算步驟；每一次同步也是一個超步的完成和下一個超步的開始。 Pregel為什么選擇一種純消息傳遞模型？答：采用這種做法主要基于以下兩個原因。①消息傳遞具有足夠的表達能力，沒有必要使用遠程讀取或共享內(nèi)存的方式。②有助于提升系統(tǒng)整體性能。大型圖計算通常是由一個集群完成的，集群環(huán)境中執(zhí)行遠程數(shù)據(jù)讀取會有較高的時間延遲；Pregel的消息模式采用異步和批量的方式傳遞消息，因此可以緩解遠程 讀取的延遲。請簡述Aggregator的作用，并以具體Aggregator的作用，并以具體Aggregator的例子做說明。答：Aggregator提供了一種全局通信、監(jiān)控和數(shù)據(jù)查看的機制。Aggregator的聚合功能，允許在整型和字符串類型上執(zhí)行最大值、最小值、求和操作，比如可以定義一個“Sum”Aggregator來統(tǒng)計每個頂點的出射邊數(shù)量，最后相加可以得到整個圖的邊的數(shù)量。Aggregator還可以實現(xiàn)全局協(xié)同的功能，比如當可以設計“and”Aggregator來決定在某個超步中Compute（）函數(shù)是否執(zhí)行某些邏輯分支，只有當“and”Aggregator顯示所有頂點都滿足了某條件時，才去執(zhí)行這些邏輯分支。 簡述Pregel的執(zhí)行過程。答：（1）選擇集群中的多臺機器執(zhí)行圖計算任務，每臺機器上運行用戶程序的一個副本，其中，有一臺機器會被選為Master，其他機器作為Worker。（2）Master把一個圖分成多個分區(qū)，并把分區(qū)分配到多個Worker。（3）Master會把用戶輸入劃分成多個部分，通常是基于文件邊界進行劃分。（4）Master向每個Worker發(fā)送指令，Worker收到指令后，開始運行一個超步。當完成以后，Worker會通知Master，并把自己在下一個超步還處于“活躍”狀態(tài)的頂點的數(shù)量報告給Master。上述步驟會被不斷重復，直到所有頂點都不再活躍并且系統(tǒng)中不會有任何消息在傳輸，這時，執(zhí)行過程才會結束。（5）計算過程結束后，Master會給所有的Worker發(fā)送指令，通知每個Worker對自己的計算結果進行持久化存儲。試述Worker和Master的作用。答：Worker的作用：借助于名稱服務系統(tǒng)定位到Master的位置，并向Master發(fā)送自己的注冊信息，Master會為每個Worker分配一個唯一的ID。在一個Worker中，它所管轄的分區(qū)狀態(tài)信息被保存在內(nèi)存。在每個超步中，Worker會對自己所管轄分區(qū)中的每個頂點進行遍歷，并調(diào)用頂點上的Compute()函數(shù)。Master的作用：Pregel采用檢查點（CheckPoint）機制來實現(xiàn)容錯。在每個超步的開始，Master會通知所有的Worker把自己管轄的分區(qū)的狀態(tài)寫入持久化存儲設備。Master周期地ping每個Worker，Worker收到ping消息后向Master反饋消息。如果在指定的時間間隔內(nèi)沒有收到某個Worker的反饋，Master就會將它標為“失效”，并啟動恢復模式。第12章 試述數(shù)據(jù)可視化的概念。答：數(shù)據(jù)可視化是指將大型數(shù)據(jù)集中的數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息的處理過程。數(shù)據(jù)可視化技術的基本思想是將數(shù)據(jù)庫中每一個數(shù)據(jù)項作為單個圖元素表示，大量的數(shù)據(jù)集構成數(shù)據(jù)圖像，同時將數(shù)據(jù)的各個屬性值以多維數(shù)據(jù)的形式表示，可以從不同的維度觀察數(shù)據(jù)，從而對數(shù)據(jù)進行更深入的觀察和分析。 試述數(shù)據(jù)可視化的重要作用。答：①觀測、跟蹤數(shù)據(jù)。利用變化的數(shù)據(jù)生成實時變化的可視化圖表，可以讓人們一眼看出各種參數(shù)的動態(tài)變化過程，有效跟蹤各種參數(shù)值。②分析數(shù)據(jù)。利用可視化技術，實時呈現(xiàn)當前分析結果，引導用戶參與分析過程，根據(jù)用戶反饋信息執(zhí)行后續(xù)分析操作，完成用戶與分析算法的全程交互，實現(xiàn)數(shù)據(jù)分析算法與用戶領域知識的完美結合。③輔助理解數(shù)據(jù)。幫助普通用戶更快、更準確地理解數(shù)據(jù)背后的定義。④增強數(shù)據(jù)吸引力?？菰锏臄?shù)據(jù)被制成具有強大視覺沖擊力和說服力的圖像，可以大大增強讀者的閱讀興趣。 可視化工具主要包含哪些類型？各自的代表產(chǎn)品有哪些？答：主要包括入門級工具（Excel）、信息圖表工具（Google Chart API、DRaphael、Flot、Tableau、大數(shù)據(jù)魔鏡）、地圖工具（Modest Maps、Leaflet、PolyMaps、OpenLayers、Kartography、Google Fushion Tables、Quanum GIS）、時間線工具（Timetoast、Xtimeline、Timeslide、Dipity）和高級分析工具（Processing、NodeBox、R、Weka和Gephi）等。第十三章1. 試分析推薦系統(tǒng)的動機以及所能解決的問題。答：為了讓用戶從海量信息中高效地獲得自己所需的信息，推薦系統(tǒng)應運而生。推薦系統(tǒng)是大數(shù)據(jù)在互聯(lián)網(wǎng)領域的典型應用，它可以通過分析用戶的歷史記錄來了解用戶的喜好，從而主動為用戶推薦其感興趣的信息，滿足用戶的個性化推薦需求推薦系統(tǒng)是自動聯(lián)系用戶和物品的一種工具，和搜索引擎相比，推薦系統(tǒng)通過研究用戶的興趣偏好，進行個性化計算。推薦系統(tǒng)可發(fā)現(xiàn)用戶的興趣點，幫助用戶從海量信息中去發(fā)掘自己潛在的需求4. 試列舉幾種推薦算法，并進行簡要描述答： 基于用戶的協(xié)同過濾（UserCF），基于物品的協(xié)同過濾（ItemCF）UserCF算法的實現(xiàn)主要包括找到和目標用戶興趣相似的用戶集合和找到該集合中的用戶所喜歡的、且目標用戶沒有聽說過的物品推薦給目標用戶ItemCF算法是給目標用戶推薦那些和他們之前喜歡的物品相似的物品。ItemCF算法主要通過分析用戶的行為記錄來計算物品之間的相似度12. 現(xiàn)有用戶a、b、c和物品A、B、C、D、E，其關系如圖所示，請使用基于用戶的協(xié)同過濾算法，給出物品到用戶倒排表的建立過程及用戶相似度矩陣，并給用戶c的推薦列表用戶對應物品列表用戶a 物品A、B、C用戶b 物品B、C、D、E用戶c 物品B、C物品對應用戶列表物品A 用戶a物品B 用戶a、b物品C 用戶a、b、c物品D 用戶b物品E 用戶b相似度矩陣a b c a 0 2 1b 2 0 1 c 1 1 0W(A,B) = 2/√3*4W(A,C) = 1/√3*2W(B,C) = 1/√4*2P(c,B)= CA+CB = 1/√3*2+1/√4*2P(c,C)= CA+CB = 1/√3*2+1/√4*2P(c,A) = CA = 1/√3*2P(c,D) = CB = 1/√4*2P(c,E) = CB = 1/√4*2給予用戶c的推薦列表為: A、B、C① 論述“”、“日本工業(yè)白皮書”內(nèi)涵，、工業(yè)物聯(lián)網(wǎng)的內(nèi)涵；②分析上述兩個佛山市制造業(yè)的現(xiàn)狀，；③如何在佛山市上述兩個制造業(yè)的生產(chǎn)、倉儲等環(huán)節(jié)布局傳感器，進行生產(chǎn)、倉儲等環(huán)節(jié)的數(shù)據(jù)采集；④將人力資源數(shù)據(jù)、行政管理數(shù)據(jù)、銷售數(shù)據(jù)、市場數(shù)據(jù)以及生產(chǎn)、倉儲數(shù)據(jù)進行整合構成企業(yè)大數(shù)據(jù)資源；⑤進行大數(shù)據(jù)分析框架設計，給出工業(yè)產(chǎn)品智能制造的路徑以及個性化工業(yè)產(chǎn)品設計的思路；⑥進行工業(yè)大數(shù)據(jù)運營，從而使運營大數(shù)據(jù)的企業(yè)自身能夠盈利的措施。論述題：結合大數(shù)據(jù)、人工智能技術，論述佛山市陶瓷制造業(yè)如何進行產(chǎn)業(yè)升級？：一個核心，兩個重點，三大集成，四個特征和六項措施。一個核心：互聯(lián)網(wǎng)+制造業(yè)，將信息物理融合系統(tǒng)（CPS）廣泛深入地應用于制造業(yè)，構建智能工廠、實現(xiàn)智能制造。兩個重點：領先的供應商策略，成為“智能生產(chǎn)”設備的主要供應者；主導的市場策略，設計并實施一套全面的知識和技術轉(zhuǎn)化方案，引領市場發(fā)展。三大集成：企業(yè)內(nèi)部靈活且可重新組合的縱向集成，企業(yè)之間價值鏈的橫向集成，全社會價值鏈的端到端工程數(shù)字化集成。四個特征：生產(chǎn)可調(diào)節(jié)，可自我調(diào)節(jié)以應對不同形勢；產(chǎn)品可識別，可以在任何時候把產(chǎn)品分辨出來；需求可變通，可以根據(jù)臨時的需求變化而改變設計、構造、計劃、生產(chǎn)和運作，并且仍有獲利空間；四是過程可監(jiān)測，可以實時針對商業(yè)模式全過程進行監(jiān)測。六項措施：實現(xiàn)技術標準化和開放標準的參考體系；建立復雜模型管理系統(tǒng)；建立一套綜合的工業(yè)寬帶基礎設施；建立安全保障機制和規(guī)章制度；創(chuàng)新工作組織和設計方式；加強培訓和持續(xù)職業(yè)教育?！?，一個重要的區(qū)別在于。其立足點并不是單純提升某幾個工業(yè)制造技術，而是從制造方式最基礎層面上進行變革，從而實現(xiàn)整個工業(yè)發(fā)展的質(zhì)的飛躍。因此，“量的變化”，而更加關注工業(yè)生產(chǎn)方式的“質(zhì)的變化”。，佛山制造業(yè)強調(diào)的是在現(xiàn)有的工業(yè)制造水平和技術上，通過“互聯(lián)網(wǎng)+”這種工具的應用，實現(xiàn)結構的變化和產(chǎn)量的增加。這種區(qū)別就好比佛山制造業(yè)是在工業(yè)現(xiàn)階段水平和思維模式上尋求階段內(nèi)的改進和發(fā)展，實現(xiàn)“質(zhì)的變化”。這種戰(zhàn)略思想上的差別應該說是客觀條件的反映，符合現(xiàn)實基礎，但也說明佛山制造業(yè)缺少戰(zhàn)略上的理論深度和技術高度，也缺少市場上的感召力和影響力?；仡櫡鹕绞羞@兩年陶瓷行業(yè)的生產(chǎn)發(fā)展狀況，我們可以清晰地看到持續(xù)穩(wěn)健和相對高速發(fā)展的企業(yè)是堅守制造業(yè)本質(zhì)的企業(yè)且生產(chǎn)效率和生產(chǎn)環(huán)境保持領先行業(yè)的進步速度，例如噴墨技術比較成熟地運用于陶瓷行業(yè)。很多人更多地擔心噴墨技術會加劇陶瓷行業(yè)的同質(zhì)化，卻忽略了噴墨技術的運用恰恰會加劇陶瓷制造業(yè)的分化。而對于陶瓷產(chǎn)業(yè)的倉儲，加上各種RFID標簽以及各種傳感器等，集成了信息技術、條碼技術、電子標簽技術、web技術及計算機應用技術等，將倉庫管理、無線掃描、電子顯示、web應用有機的結合，實現(xiàn)信息資源充分利用，加快網(wǎng)絡化進程。加上物聯(lián)網(wǎng)技術的倉儲技術能實時掌控庫存情況，對庫位狀態(tài)進行監(jiān)控，通過數(shù)字分析等方法整合資源，更為充分利用有限倉庫空間。而這意味著公司管理模式的全新轉(zhuǎn)變，從傳統(tǒng)的“結果導向”轉(zhuǎn)變成“過程導向”；從數(shù)據(jù)錄入轉(zhuǎn)變?yōu)閿?shù)據(jù)采集及錄入；從人工找貨轉(zhuǎn)變成為導向定位取貨，避免了可能發(fā)生的人為錯誤，極大程度提升了管理效率，節(jié)約了成本。在企業(yè)運營過程中，隨著依靠經(jīng)驗管理的工作方式向依靠數(shù)字分析轉(zhuǎn)變，公司將能加速資金周轉(zhuǎn)，提升供應鏈響應速度。利用大數(shù)據(jù)技術以及物聯(lián)網(wǎng)技術，可以減少人力資源的浪費以及管理精力的消耗，從而使陶瓷業(yè)通過運營大數(shù)據(jù)從而自身能夠盈利。將人力資源數(shù)據(jù)、行政管理數(shù)據(jù)、銷售數(shù)據(jù)、市場數(shù)據(jù)以及生產(chǎn)、倉儲數(shù)據(jù)進行整合構成企業(yè)大數(shù)據(jù)資源，然后，使得企業(yè)了解用戶，鎖定資源，規(guī)劃生產(chǎn)，開展服務等，進而使得企業(yè)能夠盈利。歡迎您的光臨，！希望您提出您寶貴的意見，你的意見是我進步的動力。贈語； 如果我們做與不做都會有人笑，如果做不好與做得好還會有人笑，那么我們索性就做得更好，來給人笑吧！ 現(xiàn)在你不玩命的學，以后命玩你。我不知道年少輕狂，我只知道勝者為王。不要做金錢、權利的奴隸；應學會做“金錢、權利”的主人。什么時候離光明最近？那就是你覺得黑暗太黑的時候。最值得欣賞的風景，是自己奮斗的足跡。壓力不是有人比你努力，而是那些比你牛幾倍的人依然比你努力。 參考