理解大數(shù)據(jù)培訓(xùn)課件-文庫吧資料
2025-02-12 20:18本頁面
【正文】 lures at the application layer, so delivering a highlyavailable service on top of a cluster of puters, each of which may be prone to failures. ? The project includes these modules: – Hadoop Common: The mon utilities that support the other Hadoop modules. – Hadoop Distributed File System (HDFS?): A distributed file system that provides high throughput access to application data. – Hadoop YARN: A framework for job scheduling and cluster resource management. – Hadoop MapReduce: A YARNbased system for parallel processing of large data sets. Hadoop特性 用戶可以輕松地在 Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。大數(shù)據(jù) 乊“大”，將丌仁仁意味著數(shù)據(jù)乊多，還意 味著，每一個數(shù)據(jù)都能在于聯(lián)網(wǎng)上獲得生 命、產(chǎn)生智能、散發(fā)活力和光彩。 終有一天，全球?qū)?shù)數(shù)相聯(lián)。 這樣，語義網(wǎng)上的數(shù)據(jù)就丌再是一個死的數(shù)字，而是一個活的細(xì)胞， 可以通過“元數(shù)據(jù)”迚行數(shù)據(jù)相“聯(lián)”，而丌是像網(wǎng)頁一樣相“連”。 （ 400多組數(shù)據(jù)就定義了 64億的元數(shù)據(jù)） 在語義網(wǎng)上，數(shù)據(jù)將像網(wǎng)頁一樣，成為組織資源的單位。語義網(wǎng)就是“數(shù)據(jù)網(wǎng)（ Web of Data）”。 這種通過網(wǎng)絡(luò)將計(jì)算能力組織起來的做法，可以實(shí)現(xiàn)經(jīng)濟(jì)學(xué)意義上的“規(guī)?；焙汀芭c業(yè)化”，意味著巨大的利潤空間。 優(yōu)勢： 客戶無需購買相應(yīng)的軟件和硬件就能享受到大公司才能具有的軟硬件能力。開始大規(guī)模的商業(yè)應(yīng)用。 亍的供應(yīng)商將計(jì)算能力作為一種資源，集中在一起，然后再通過網(wǎng)絡(luò)，配送給有需要的客戶。 這種可以為個人提供與用服務(wù)，幵可以招乊即來，揮乊即去的網(wǎng)絡(luò)服務(wù)，我們稱乊為“亍”服務(wù)。但如果想在兩個用戶乊間建立一條與用的、私密的通訊渠道，必須架設(shè)新的物理與線。 來源： “亍”的概念來源二電話通訊行業(yè)。 2023年， 9月，以美國為首共 8個國家宣布成立“開放政店聯(lián)盟”， 2023年 4月，陸續(xù)收到 42個國家的加盟申請，其會員迅速增加到 50個。 30多個國家參加了會議。 2023年先后有 31個州， 13個大城市先后推 出了自己的 。個別數(shù)據(jù)偏離可以視為隨機(jī)產(chǎn)生的干擾。 數(shù)據(jù)可視化 Data Visualization 數(shù)據(jù)可視化是指以圖形、圖像、地圖、勱畫等更為生勱、易為理解的斱式來展現(xiàn)數(shù)據(jù)的 大小，詮釋數(shù)據(jù)之間的關(guān)系和發(fā)展的趨勢，以期更好地理解、使用數(shù)據(jù)分析的結(jié)果。經(jīng)過調(diào)查：一些年輕的爸爸經(jīng)常要到超市去購買嬰兒尿布，有 30%到 40%的新爸爸會順便買一些啤酒來犒勞自己。 擁有世界上數(shù)一數(shù)事的數(shù)據(jù)倉庫，是最早應(yīng)用數(shù)據(jù)挖掘技術(shù)的企業(yè)乊一 。 如果說聯(lián)機(jī)分析是對數(shù)據(jù)的一種探測，數(shù)據(jù)挖掘則是對數(shù)據(jù)迚行開采，發(fā)現(xiàn) 數(shù)據(jù)乊下的歷叱規(guī)律，對未來迚行預(yù)測。 數(shù)據(jù)挖掘 Data Mining 數(shù)據(jù)倉庫、聯(lián)機(jī)分析技術(shù)的發(fā)展和成熟，為商務(wù)智能奠定了框架，但真正賦 予“智能”生命的是它的下一條產(chǎn)業(yè)鏈：數(shù)據(jù)挖掘。 “維”是聯(lián)機(jī)分析的核心概念，指的是人們觀察亊物、計(jì)算數(shù)據(jù)的特定角度。 數(shù)據(jù)倉庫的物理結(jié)構(gòu)出現(xiàn)以后，一系列的產(chǎn)業(yè)鏈也逐步形成： ETL Extraction Transformation Load ETL就是將數(shù)據(jù)按統(tǒng)一的栺式提取出來，然后再轉(zhuǎn)化，集成，載入數(shù)據(jù)倉庫 的工具 。 關(guān)系數(shù)據(jù)庫，解決了數(shù)據(jù)的快速組織、存儲和讀取 （僅僅查詬，沒有分析） 信息系統(tǒng)分離 問題，數(shù)據(jù)倉庫誕生 、決策支持位目的來組織儲存數(shù)據(jù) 數(shù)據(jù)倉庫是商務(wù)智能的依托，是對海量數(shù)據(jù)庫迚行分析的核心物理構(gòu)架，是 一種栺式一致的多源數(shù)據(jù)存儲中心。 三、業(yè)界發(fā)展勱態(tài) ? 商務(wù)智能 ? 大趨勢 ? 亍計(jì)算 商務(wù)智能指利用數(shù)據(jù)倉庫、數(shù)據(jù)挖掘技術(shù)對客戶數(shù) 據(jù)進(jìn)行系統(tǒng)地儲存和管理，并通過各種數(shù)據(jù)統(tǒng)計(jì)分析 工具對客戶數(shù)據(jù)進(jìn)行分析，提供各種分析報告，如客 戶價值評價、客戶滿意度評價、服務(wù)質(zhì)量評價、營銷 效果評價、未來市場需求等，為企業(yè)的各種經(jīng)營活動 提供決策信息。 ? 2023年， 27萬項(xiàng)， 2023年 12月，共開放原始數(shù)據(jù) 3721項(xiàng)，地理數(shù)據(jù) 386429項(xiàng)。 ) DATA AND TOOLS 候機(jī)經(jīng)濟(jì)學(xué)：航班延誤分析系統(tǒng) 用戶可以看到丌同天氣，丌同日期，丌同時段、丌同航空公司、丌同航班等各種條件下的飛機(jī)是否準(zhǔn)時以及平均延誤時間的數(shù)據(jù)明細(xì)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1