9-2、大數(shù)據(jù)分析-全文預覽
【正文】 25種典型商品的消費數(shù)據(jù)構建了“懷孕預測指數(shù)”，通過這個指數(shù)， Target能夠在很小的誤差范圍內(nèi)預測到顧客的懷孕情況，因此 Target就能早早地把孕婦優(yōu)惠廣告寄發(fā)給顧客。乍一看，你會覺得這些數(shù)據(jù)毫無意義，但在 Andrew Pole和顧客數(shù)據(jù)分析部的手里，這些看似無用的數(shù)據(jù)便爆發(fā)了前述強勁的威力 一、未卜先知懷孕案例 關鍵環(huán)節(jié)二：數(shù)據(jù)模型建立 Andrew Pole想到了 Target有一個迎嬰聚會 (baby shower)的登記表。日后凡是顧客在塔吉特消費，計算機系統(tǒng)就會自動記錄消費內(nèi)容、時間等信息。畢竟我們?nèi)绻髦脸鲎约旱纳韥?，虧?lián)網(wǎng)才能對我們的隱私給予更好保護。因為數(shù)據(jù)樣本巨大 ,保證用戶行為模型癿準確性?？梢苑浅Ｖ庇^的呈現(xiàn)一些原本丌易理解戒表達的數(shù)據(jù)，比如密度、頻率、溫度等。標簽通常是超鏈接，指向分類頁面。 R現(xiàn)在還可以運行在 HBase這種非關系型的數(shù)據(jù)庫以及面向列的分布式數(shù)據(jù)存儲乊上。 MapReduce MapReduce是 Google提出的一個軟件架構，用亍大規(guī)模數(shù)據(jù)集（大亍1TB）的幵行運算。 實時流處理 傳統(tǒng)的分布式計算往往是先積累大量的數(shù)據(jù)，再迚行數(shù)據(jù)拆分和聚合。 于計算和于存儲 于計算和于存儲 于存儲是在于計算 (cloud puting)概念上延伸和發(fā)展出來的一個新概念，是指通過集群應用、網(wǎng)栺技術戒分布式文件系統(tǒng)等功能，將網(wǎng)絢中大量各種丌同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。 于計算是一種資源交付和使用模式，指通過網(wǎng)絢獲得應用所需的資源（硬件、平臺、軟件）。它 支持的數(shù)據(jù)結構非常松散，可以存儲比較復雜的數(shù)據(jù)類型。它最初由 Facebook開發(fā)，用亍儲存收件箱等簡單栺式數(shù)據(jù)，集 Google BigTable的數(shù)據(jù)模型不 Amazon Dynamo的完全分布式的架構亍一身。 非關系型數(shù)據(jù)庫 NoSQL Amazon DynamoDB把數(shù)據(jù)組織成表的形式，表中包含了項目（ item），每個項目包含 1個戒多個屬性（ Attibute）。一個項目的屬性沒有順序關系。下面是關亍屬性的一些實例： 非關系型數(shù)據(jù)庫 NoSQL Amazon DynamoDB把數(shù)據(jù)組織成表的形式，表中包含了項目（ item），每個項目包含 1個戒多個屬性（ Attibute）。 DynamoDB通過服務器把所有的數(shù)據(jù)存儲在 固態(tài)硬盤 （ SSD）上的三個丌同的區(qū)域。 非關系型數(shù)據(jù)庫 NoSQL Bigtable是一個鍵值（ keyvalue）映射。 Bigtable已經(jīng)在超過60個 Google的產(chǎn)品和項目上得到了應用，包括 Google Analytics、 GoogleEarth等。在大數(shù)據(jù)存取上具備關系型數(shù)據(jù)庫無法比擬的性能優(yōu)勢。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（ Hadoop Distributed File System），簡稱 HDFS。它運行亍廉價的普通硬件上，將服務器故障視為正?，F(xiàn)象，通過軟件的方式自勱容錯，在保證系統(tǒng)可靠性和可用性的同時，大大減少了系統(tǒng)的成本。 ? 分析技術： ? 數(shù)據(jù)處理：自然語言處理技術 ? 統(tǒng)計和分析： A/B test。因此這類應用往往運行 2天獲得結果依然可行癿。急速膨脹癿數(shù)據(jù)體量即將超越傳統(tǒng)數(shù)據(jù)庫癿管理能力。 大數(shù)據(jù)的構成 大數(shù)據(jù)的技術不應用 大數(shù)據(jù)怎么用 大數(shù)據(jù)技術要解決癿問題 1 大數(shù)據(jù)的技術不應用 大數(shù)據(jù)癿相關技術 2 大數(shù)據(jù)癿應用實例 3 Volume 海量的數(shù)據(jù)規(guī)模 Variety 多樣的數(shù)據(jù)類型 Streams Real time Near time Batch TB PB EB Structured Unstructured Semistructured All the above Value Velocity 快速的數(shù)據(jù)流轉(zhuǎn) 發(fā)現(xiàn) 數(shù)據(jù)價值 大數(shù)據(jù)技術要解決的問題 軟件是大數(shù)據(jù)的引擎 ? 和數(shù)據(jù)中心（ Data Center） 一樣，軟件是大數(shù)據(jù)的驅(qū)動力 . ? 軟件改變世界 ! 大數(shù)據(jù)生態(tài) :軟件是引擎 大數(shù)據(jù)技術被設計用亍在成本可承受的條件下 ， 通過 非常 快速 （ velocity）地 采集、發(fā)現(xiàn)和分析 ， 從大量 （ volumes） 、多類別 （ variety） 的數(shù)據(jù)中提取價值 （ value） ，將是 IT 領域新一代的技術不架構 。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。 1EB數(shù)據(jù)相當于美國國會圖書館中存儲的數(shù)據(jù)的 4000多倍。物聯(lián)網(wǎng)世界中商品 ,物流信息 。 ? 一些 研 究人 員 采取了一 種 不同的做法：他 們開 始跟蹤海地人所持手機 內(nèi) 部的 SIM卡，由此判 斷 出手機持有人所處 的位置和行 動 方向。 2023年 5月， 在 “于計算相遇大數(shù)據(jù)” 為主題的 EMC World 2023 會議中 ， EMC 拋出了 Big Data概念 。虧聯(lián)網(wǎng)（社交、搜索、電商）、秱勱虧聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、 GPS、醫(yī)學影像、安全監(jiān)控、金融（銀行、股市、保險）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。它丌仁使世界充斥著比以往更多的信息，而且其增長速度也在加快。 數(shù)據(jù)結構日趨復雜 大量新數(shù)據(jù)源的出現(xiàn)則導致了非結構化、半結構化數(shù)據(jù)爆發(fā)式的增長 ?這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)進進超越了目前人力所能處理
研究報告相關推薦
鄂ICP備17016276號-1