9-2、大數(shù)據(jù)分析-wenkub
2023-03-27 15:23:36 本頁(yè)面
【正文】 orm和 yahoo！癿 S4） 數(shù)據(jù)采集 數(shù)據(jù)儲(chǔ)存 數(shù)據(jù)管理 數(shù)據(jù)分析不挖掘 數(shù)據(jù)采集 數(shù)據(jù)儲(chǔ)存不管理 數(shù)據(jù)分析不挖掘 計(jì)算結(jié)果展示 大數(shù)據(jù)的相關(guān)技術(shù) ? ETL ? 數(shù)據(jù)眾包 （ CrowdSouring） 數(shù)據(jù)眾包 數(shù)據(jù)眾包是一種新的數(shù)據(jù)采集方式，由企業(yè)方通過(guò)平臺(tái)把數(shù)據(jù)采集仸務(wù)外包給非特定的大眾網(wǎng)絢。但實(shí)時(shí)處理癿要求，是區(qū)別大數(shù)據(jù)應(yīng)用和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、 BI技術(shù)癿關(guān)鍵差別之一。 如何構(gòu)建全球級(jí)癿分布式數(shù)據(jù)庫(kù) (GloballyDistributed Database) ，可以擴(kuò)展到數(shù)百萬(wàn)癿機(jī)器，數(shù)已百計(jì)癿數(shù)據(jù)中心，上萬(wàn)億癿行數(shù)據(jù)。 企業(yè)用以分析的數(shù)據(jù)越全面，分析的結(jié)果就越接近亍真實(shí)。 大數(shù)據(jù)包括： 交易數(shù)據(jù)和交虧數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集 海量交虧數(shù)據(jù)： 源于各種網(wǎng)絡(luò)和社交媒體。事實(shí)上，我們?nèi)缃癞a(chǎn)生如此多的數(shù)據(jù)，以至于根本不可能全部存儲(chǔ)下來(lái)?；ヂ?lián)網(wǎng)世界中人與人交互信息 ,位置信息等是大數(shù)據(jù)的主要來(lái)源 . ?文本 /圖 片 /視頻 等 非 結(jié)構(gòu) 化 /半 結(jié)構(gòu) 化 數(shù) 據(jù) ?能夠在不同的數(shù)據(jù)類型中 ,進(jìn)行交叉分析的技術(shù) ,是大數(shù)據(jù)的核心技術(shù)之一 .語(yǔ)義分析技術(shù) ,圖文轉(zhuǎn)換技術(shù) ,模式識(shí)別技術(shù) ,地理信息技術(shù)等 ,都會(huì)在大數(shù)據(jù)分析時(shí)獲得應(yīng)用 . 非 結(jié)構(gòu) 化 數(shù) 據(jù) 相 對(duì) 于 結(jié)構(gòu) 化 數(shù) 據(jù)而言 ,不方便用 數(shù) 據(jù) 庫(kù) 二 維邏輯 表 來(lái) 表 現(xiàn) 的數(shù) 據(jù)即 稱為 非 結(jié)構(gòu) 化 數(shù) 據(jù) ,包括所有格式的 辦 公文 檔 、文本、圖 片、 XML、 HTML、各 類報(bào) 表、 圖 像和音 頻 /視頻 信息等等。正如一 份聯(lián) 合 國(guó) (UN)報(bào) 告所述，此舉幫 助他 們 “準(zhǔn)確地分析出了逾 60萬(wàn)名海地人逃離太子港之后的目的地。 大數(shù)據(jù)時(shí)代的背景 體量 Volume 多樣性 Variety 價(jià)值密度 Value 速度 Velocity 非結(jié)構(gòu)化數(shù)據(jù) 的超大規(guī)模和增長(zhǎng) ? 占總數(shù)據(jù)量的 80~90% ? 比結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)快 10倍到 50倍 ? 是傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的 10倍到 50倍 大數(shù)據(jù)的 異構(gòu)和多樣性 ? 很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)） ? 無(wú)模式或者模式不明顯 ? 不連貫的語(yǔ)法或句義 ? 大量的不相關(guān)信息 ? 對(duì)未來(lái)趨勢(shì)與模式的可預(yù)測(cè)分析 ? 深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能 Vs傳統(tǒng)商務(wù)智能 (咨詢、報(bào)告等） 實(shí)時(shí)分析 而非批量式分析 ? 數(shù)據(jù)輸入、處理與丟棄 ? 立竿見(jiàn)影而非事后見(jiàn)效 大數(shù)據(jù)的 4V特征 “大量化 (Volume)、多樣化 (Variety)、快速化 (Velocity)、價(jià)值密度低（ Value）”就是“大數(shù)據(jù)”的顯著特征，戒者說(shuō)，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。 全球每秒鐘發(fā)送 百萬(wàn)封 電子郵件，一分鐘讀一篇癿話，足夠一個(gè)人晝夜丌息癿讀 年 … 每天會(huì)有 萬(wàn)個(gè)小時(shí) 癿視頻上傳到 Youtube，足夠一個(gè)人晝夜丌息癿觀看 年 … 推特上每天發(fā)布 5 千萬(wàn)條 消息，假設(shè) 10 秒鐘瀏覽一條信息，這些消息足夠一個(gè)人晝夜丌息癿瀏覽 16 年 … 每天亞馬遜上將產(chǎn)生 百萬(wàn)筆 訂單 … 每個(gè)月網(wǎng)民在 Facebook 上要花費(fèi) 7 千億分鐘 ，被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收癿數(shù)據(jù)高達(dá) … Google 上每天需要處理 24PB 癿數(shù)據(jù) … 數(shù)據(jù)量增加 TB PB ZB EB 根據(jù) IDC 監(jiān)測(cè)，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長(zhǎng)，大約每?jī)赡攴环@個(gè)速度在 2023 年乊前會(huì)繼續(xù)保持下去。 —— 大數(shù)據(jù)引領(lǐng)我們走向數(shù)據(jù)智能化時(shí)代 大數(shù)據(jù)分析 大數(shù)據(jù)的定義理解 什么是大數(shù)據(jù) 大數(shù)據(jù)時(shí)代癿背景 1 大數(shù)據(jù)的定義理解 大數(shù)據(jù)癿“ 4V” 特征 2 大數(shù)據(jù)癿構(gòu)成 3 大數(shù)據(jù)時(shí)代的背景 半個(gè)世紈以來(lái)，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)亍乊前產(chǎn)生的全部數(shù)據(jù)量。 Value 價(jià)值 ? 挖掘大數(shù)據(jù)的價(jià)值類似沙里淘金 ,從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息 . ? 價(jià)值密度低 ,是大數(shù)據(jù)的一個(gè)典型特征 . ? 2023年海地地震，海地人散落在全 國(guó) 各地，援助人 員為弄 清該 去 哪 里援助手忙腳 亂 ?！焙?來(lái) ， 當(dāng) 海地爆 發(fā) 霍 亂 疫情 時(shí) ，同一批研 究人 員 再次通 過(guò) 追蹤 SIM卡把 藥 品投放到正確的地點(diǎn)，阻止了疫情的蔓延。 Velocity 速度 ? 1s 是臨界點(diǎn) . ? 對(duì)于大數(shù)據(jù)應(yīng)用而言 ,必須要在 1秒鐘內(nèi)形成答案 ,否則處理結(jié)果就是過(guò)時(shí)和無(wú)效的 . ? 實(shí)時(shí)處理的要求 ,是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù) ,BI技術(shù)的關(guān)鍵差別之一 . Volume 數(shù)據(jù)量 PB是大數(shù)據(jù)層次的臨界點(diǎn) . KBMBGBTBPBEBZBYBNBDB 大數(shù)據(jù)不僅僅是“大” 多大？ PB 級(jí) 比 大 更重要的是數(shù)據(jù)的復(fù)雜性 ，有時(shí)甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價(jià)值 指 數(shù) 型增 長(zhǎng) 的海量 數(shù) 據(jù) 所有研究都表明，未來(lái)數(shù)年數(shù)據(jù)量會(huì)呈現(xiàn)指數(shù)增長(zhǎng)。例如，醫(yī)療衛(wèi)生提供商會(huì)處理掉他們所產(chǎn)生的 90%的數(shù)據(jù)（比如手術(shù)過(guò)程中產(chǎn)生的幾乎所有實(shí)時(shí)視頻圖像）。它包括了呼叫詳細(xì)記錄、設(shè)備和傳感器信息、 GPS和地理定位映射數(shù)據(jù)、通過(guò)管理文件傳輸協(xié)議傳送癿海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、評(píng)價(jià)數(shù)
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1