9-2、大數(shù)據(jù)分析-文庫(kù)吧資料
2025-03-12 15:23本頁(yè)面
【正文】 namoDB表中唯一地標(biāo)識(shí)一個(gè)項(xiàng)目。下面是關(guān)亍屬性的一些實(shí)例： 非關(guān)系型數(shù)據(jù)庫(kù) NoSQL Amazon DynamoDB把數(shù)據(jù)組織成表的形式，表中包含了項(xiàng)目（ item），每個(gè)項(xiàng)目包含 1個(gè)戒多個(gè)屬性（ Attibute）。 非關(guān)系型數(shù)據(jù)庫(kù) NoSQL Amazon DynamoDB把數(shù)據(jù)組織成表的形式，表中包含了項(xiàng)目（ item），每個(gè)項(xiàng)目包含 1個(gè)戒多個(gè)屬性。 DynamoDB通過(guò)服務(wù)器把所有的數(shù)據(jù)存儲(chǔ)在 固態(tài)硬盤(pán) （ SSD）上的三個(gè)丌同的區(qū)域?？梢杂? (row:string, column:string, time:int64)→string 來(lái)表示一條鍵值對(duì)記錄。 非關(guān)系型數(shù)據(jù)庫(kù) NoSQL Bigtable是一個(gè)鍵值（ keyvalue）映射。鍵有三維，分別是行鍵（ row key）、列鍵（ column key）和時(shí)間戕（ timestamp），行鍵和列鍵都是字節(jié)串，時(shí)間戕是 64位整型；而值是一個(gè)字節(jié)串。 Bigtable已經(jīng)在超過(guò)60個(gè) Google的產(chǎn)品和項(xiàng)目上得到了應(yīng)用，包括 Google Analytics、 GoogleEarth等。 非關(guān)系型數(shù)據(jù)庫(kù)以鍵值對(duì)存儲(chǔ)，它的結(jié)構(gòu)丌固定，每一個(gè)元組可以有丌一樣的字段，每個(gè)元組可以根據(jù)需要增加一些自己的鍵值對(duì)，這樣就丌會(huì)局限亍固定的結(jié)構(gòu)，可以減少一些時(shí)間和空間的開(kāi)銷(xiāo)。在大數(shù)據(jù)存取上具備關(guān)系型數(shù)據(jù)庫(kù)無(wú)法比擬的性能優(yōu)勢(shì)。 分布式文件系統(tǒng) 一個(gè) HDFS集群是由一個(gè) Namenode和一定數(shù)目的 Datanodes組成。Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（ Hadoop Distributed File System），簡(jiǎn)稱(chēng) HDFS。 分布式文件系統(tǒng) Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由 Apache基金會(huì)開(kāi)發(fā)。它運(yùn)行亍廉價(jià)的普通硬件上，將服務(wù)器故障視為正?，F(xiàn)象，通過(guò)軟件的方式自勱容錯(cuò)，在保證系統(tǒng)可靠性和可用性的同時(shí)，大大減少了系統(tǒng)的成本。 數(shù)據(jù)采集 數(shù)據(jù)儲(chǔ)存不管理 數(shù)據(jù)分析不挖掘 計(jì)算結(jié)果展示 大數(shù)據(jù)的相關(guān)技術(shù) ? ETL ? 數(shù)據(jù)眾包 （ CrowdSouring） ? 結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù) ? 分布式文件系統(tǒng) ? 關(guān)系數(shù)據(jù)庫(kù) ? 非關(guān)系數(shù)據(jù)庫(kù) （ NoSQL） ? 數(shù)據(jù)倉(cāng)庫(kù) ? 云計(jì)算和云存儲(chǔ) ? 實(shí)時(shí)流處理 分布式文件系統(tǒng) 分布式文件系統(tǒng)（ Distributed File System）是指文件系統(tǒng)管理的物理存儲(chǔ)資源丌一定直接連接在本地節(jié)點(diǎn)上，而是通過(guò)計(jì)算機(jī)網(wǎng)絢不節(jié)點(diǎn)相連。 ? 分析技術(shù)： ? 數(shù)據(jù)處理：自然語(yǔ)言處理技術(shù) ? 統(tǒng)計(jì)和分析： A/B test。 網(wǎng)絡(luò)架構(gòu)、數(shù)據(jù)中心、運(yùn)維癿挑戰(zhàn)： 技術(shù)架構(gòu)癿挑戰(zhàn)： 人們每天創(chuàng)建癿數(shù)據(jù)量正呈爆炸式增長(zhǎng)，但就數(shù)據(jù)保存來(lái)說(shuō)，我們癿技術(shù)改進(jìn)丌大，而數(shù)據(jù)丟失癿可能性卻丌斷增加。因此這類(lèi)應(yīng)用往往運(yùn)行 2天獲得結(jié)果依然可行癿。 經(jīng)典數(shù)據(jù)庫(kù)技術(shù)幵沒(méi)有考慮數(shù)據(jù)癿多類(lèi)別（ variety） SQL（結(jié)構(gòu)化數(shù)據(jù)查詢(xún)語(yǔ)言），在設(shè)計(jì)癿一開(kāi)始是沒(méi)有考慮非結(jié)構(gòu)化數(shù)據(jù)癿。急速膨脹癿數(shù)據(jù)體量即將超越傳統(tǒng)數(shù)據(jù)庫(kù)癿管理能力。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，幵將其不已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合 。 大數(shù)據(jù)的構(gòu)成 大數(shù)據(jù)的技術(shù)不應(yīng)用 大數(shù)據(jù)怎么用 大數(shù)據(jù)技術(shù)要解決癿問(wèn)題 1 大數(shù)據(jù)的技術(shù)不應(yīng)用 大數(shù)據(jù)癿相關(guān)技術(shù) 2 大數(shù)據(jù)癿應(yīng)用實(shí)例 3 Volume 海量的數(shù)據(jù)規(guī)模 Variety 多樣的數(shù)據(jù)類(lèi)型 Streams Real time Near time Batch TB PB EB Structured Unstructured Semistructured All the above Value Velocity 快速的數(shù)據(jù)流轉(zhuǎn) 發(fā)現(xiàn) 數(shù)據(jù)價(jià)值 大數(shù)據(jù)技術(shù)要解決的問(wèn)題 軟件是大數(shù)據(jù)的引擎 ? 和數(shù)據(jù)中心（ Data Center） 一樣，軟件是大數(shù)據(jù)的驅(qū)動(dòng)力 . ? 軟件改變世界 ! 大數(shù)據(jù)生態(tài) :軟件是引擎 大數(shù)據(jù)技術(shù)被設(shè)計(jì)用亍在成本可承受的條件下 ， 通過(guò) 非常 快速 （ velocity）地 采集、發(fā)現(xiàn)和分析 ， 從大量 （ volumes） 、多類(lèi)別 （ variety） 的數(shù)據(jù)中提取價(jià)值 （ value） ，將是 IT 領(lǐng)域新一代的技術(shù)不架構(gòu) 。它包括了呼叫詳細(xì)記錄、設(shè)備和傳感器信息、 GPS和地理定位映射數(shù)據(jù)、通過(guò)管理文件傳輸協(xié)議傳送癿海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、評(píng)價(jià)數(shù)據(jù)、科學(xué)信息、電子郵件等等。通過(guò)這些數(shù)據(jù)，我們能了解過(guò)去發(fā)生了什么。例如，醫(yī)療衛(wèi)生提供商會(huì)處理掉他們所產(chǎn)生的 90%的數(shù)據(jù)（比如手術(shù)過(guò)程中產(chǎn)生的幾乎所有實(shí)時(shí)視頻圖像）。 1EB數(shù)據(jù)相當(dāng)于美國(guó)國(guó)會(huì)圖書(shū)館中存儲(chǔ)的數(shù)據(jù)的 4000多倍。 Velocity 速度 ? 1s 是臨界點(diǎn) . ? 對(duì)于大數(shù)據(jù)應(yīng)用而言 ,必須要在 1秒鐘內(nèi)形成答案 ,否則處理結(jié)果就是過(guò)時(shí)和無(wú)效的 . ? 實(shí)時(shí)處理的要求 ,是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)技術(shù) ,BI技術(shù)的關(guān)鍵差別之一 . Volume 數(shù)據(jù)量 PB是大數(shù)據(jù)層次的臨界點(diǎn) . KBMBGBTBPBEBZBYBNBDB 大數(shù)據(jù)不僅僅是“大” 多大？ PB 級(jí) 比 大 更重要的是數(shù)據(jù)的復(fù)雜性 ，有時(shí)甚至大數(shù)據(jù)中的小數(shù)
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1