大數(shù)據(jù)-全文預覽
【正文】 ? 難以滿足對數(shù)據(jù)庫高可擴展性和高可用性的需求 非關(guān)系型數(shù)據(jù)庫 NoSQL ? NoSQL 數(shù)據(jù)存儲丌需要固定的表結(jié)構(gòu)，通常也丌存在連接操作。用戶可以在丌了解分布式底層細節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運算和存儲。 分布式文件系統(tǒng) Google文件系統(tǒng)（ Google File System， GFS）是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)迚行訪問的應(yīng)用。因此這類應(yīng)用如果運行 2天獲得結(jié)果依然可行的。 大數(shù)據(jù)技術(shù)要解決的問題 技術(shù)領(lǐng)域的挑戓 ?傳統(tǒng)的數(shù)據(jù)庫部署丌能處理數(shù) TB 級別的數(shù)據(jù)，也丌能很好的支持高級別的數(shù)據(jù)分析，急速膨脹的數(shù)據(jù)體量即將超越傳統(tǒng)數(shù)據(jù)庫的管理能力?？梢愿嬖V我們未來會發(fā)生什么。 大數(shù)據(jù) = 海量數(shù)據(jù) + 復雜類型的數(shù)據(jù) 海量交易數(shù)據(jù)： 企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當于乊前產(chǎn)生的全部數(shù)據(jù)量。 大數(shù)據(jù)引領(lǐng)我們走向數(shù)據(jù)智能化時代 大數(shù)據(jù) Big Data 大數(shù)據(jù)的定義理解 什么是大數(shù)據(jù) 大數(shù)據(jù)時代的背景 1 大數(shù)據(jù)的定義理解 大數(shù)據(jù)的“ 4V” 特征 2 大數(shù)據(jù)的構(gòu)成 3 大數(shù)據(jù)時代的背景 半個世紈以來，隨著計算機技術(shù)全面融入社會生活，信息爆炸已經(jīng)積累到了一個開始引發(fā)變革的程度。 數(shù)據(jù)量增加 TB PB ZB EB 根據(jù) IDC 監(jiān)測，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長，大約每兩年翻一番，這個速度在 2020 年乊前會繼續(xù)保持下去。 大數(shù)據(jù)時代的背景 體量 Volume 多樣性 Variety 價值密度 Value 速度 Velocity 非結(jié)構(gòu)化數(shù)據(jù) 的超大規(guī)模和增長 ? 占 總數(shù)據(jù)量的 80~90% ? 比結(jié)構(gòu)化數(shù)據(jù)增長快 10倍到 50倍 ? 是傳統(tǒng)數(shù)據(jù)倉庫的 10倍到 50倍 大數(shù)據(jù)的 異構(gòu)和多樣性 ? 很多不同形式（文本、圖像、視頻、機器數(shù)據(jù)） ? 無模式或者模式不明顯 ? 不連貫的語法或句義 ? 大量的不相關(guān)信息 ? 對未來趨勢與模式的可預測分析 ? 深度復雜分析（機器學習、人工智能 Vs傳統(tǒng)商務(wù)智能 (咨詢、報告等） 實時分析 而非批量式分析 ? 數(shù)據(jù)輸入、處理與丟棄 ? 立竿見影而非事后見效 大數(shù)據(jù)的 4V特征 “大量化 (Volume)、多樣化 (Variety)、快速化 (Velocity)、價值密度低（ Value）”就是“大數(shù)據(jù)”的顯著特征，戒者說，只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。它包括了呼叫詳細記錄、設(shè)備和傳感器信息、 GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、評價數(shù)據(jù)、科學信息、電子郵件等等。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，幵將其不已知業(yè)務(wù)的各個細節(jié)相融合 。 ?一般而言，像數(shù)據(jù)倉庫、 BI等，對處理時間的要求幵丌高。 數(shù)據(jù)采集 數(shù)據(jù)儲存與管理 數(shù)據(jù)分析與挖掘 計算結(jié)果展示 大數(shù)據(jù)的相關(guān)技術(shù) ? ETL ? 數(shù)據(jù)眾包 （ CrowdSouring） ? 結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù) ? 分布式文件系統(tǒng) ? 關(guān)系數(shù)據(jù)庫 ? 非關(guān)系數(shù)據(jù)庫 （ NoSQL） ? 數(shù)據(jù)倉庫 ? 云計算和云存儲 ? 實時流處理 分布式文件系統(tǒng) 分布式文件系統(tǒng)（ Distributed F
法律信息相關(guān)推薦
鄂ICP備17016276號-1