從大數(shù)據(jù)熱看我國(guó)計(jì)算機(jī)學(xué)界的機(jī)遇-文庫(kù)吧
2025-02-11 14:27 本頁(yè)面
【正文】 Cloudera公司 ， Hadoop商用版 （ Apache開(kāi)源版 ） ? 2023秋天 : Hadoop 由 Apache作為 Lucene的子項(xiàng)目 Nutch的一部分正式引入。 ? 2023年 3月： Map/Reduce 和 Nutch Distributed File System (NDFS) 分別被納入 Hadoop 的項(xiàng)目中 ? – 2023: Webscale Hadoop! (Yahoo!) Hadoop生態(tài)圈（部分） ? Hadoop Common：在 ，包含 HDFS、 MapReduce和其他項(xiàng)目公共內(nèi)容，從 HDFS和 MapReduce成 為獨(dú)立的子項(xiàng)目 ? MapReduce：分布式并行計(jì)算框架 ， Hadoop的核心 ? HDFS (Hadoop Distributed File System)：所起的作用 就是使得 每個(gè)服務(wù)器必須具備對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)能力 ? Pig： 編程語(yǔ)言，簡(jiǎn)化 Hadoop常見(jiàn)的工作任務(wù) ，Pig可加載數(shù)據(jù)、表達(dá)轉(zhuǎn)換數(shù)據(jù)以及存儲(chǔ)最終結(jié)果 Hadoop生態(tài)圈（部分） ? Hbase (BigTable)：分布式列 存儲(chǔ) 數(shù)據(jù)庫(kù) ， 2023年成為 Hadoop子項(xiàng)目， 2023年 5月頂級(jí) Apache 項(xiàng)目 ? Hive (Facebook): 數(shù)據(jù)倉(cāng)庫(kù)工具， 架構(gòu) 在 HDFS之上 ， 增加靜態(tài)數(shù)據(jù)結(jié)構(gòu)，方便 使用進(jìn)行數(shù)據(jù) 分析查詢(xún)， 2023年 9月成為 Hadoop子項(xiàng)目 ? Zookeeper (Facebook)：分布式鎖設(shè)施 ， 提供類(lèi)似 Google Chubby的功能 ? Avro：新的數(shù)據(jù)序列化格式與傳輸工具 ， 2023年 5月成為頂級(jí) Apache 項(xiàng)目 ? …… Hadoop在數(shù)據(jù)管理中的地位 ? Hadoop是一個(gè)可以更容易開(kāi)發(fā)和存儲(chǔ)大規(guī)模數(shù)據(jù)的軟件平臺(tái)，幫助用戶(hù)快速、 低成本 地實(shí)現(xiàn) 大數(shù)據(jù)的存儲(chǔ)、管理及分析查詢(xún) ? Hadoop的關(guān)鍵構(gòu)成： MapReduce + HDFS ?MapReduce可實(shí)現(xiàn) 高性能分布式并行 數(shù)據(jù)處理 ?HDFS提供可靠數(shù)據(jù)存儲(chǔ)服務(wù)， 低廉 MPP，高容錯(cuò)、高通量，可伸縮 ? 用戶(hù)可在 不了解分布式底層細(xì)節(jié) 的情況下，開(kāi)發(fā)分布式程序，充分利用 MPP的能力 Hadoop在數(shù)據(jù)管理中的地位 ? 用戶(hù)對(duì)大數(shù)據(jù)存儲(chǔ)、管理和分析需求迫切 ? 傳統(tǒng)數(shù)據(jù)庫(kù)對(duì) 非結(jié)構(gòu)化數(shù)據(jù) 幾乎無(wú)能為力 ? 利用傳統(tǒng)數(shù)據(jù)庫(kù)來(lái)對(duì)大數(shù)據(jù)進(jìn)行處理時(shí)，會(huì)面臨很多難以解決的問(wèn)題。 ?軟、硬件平臺(tái)的要求高，成本壓力 ?成本和收益不匹配的 ? 充分發(fā)掘和利用非結(jié)構(gòu)化數(shù)據(jù)背后的商業(yè)價(jià)值，用戶(hù)希望能以 更經(jīng)濟(jì)的方式 、更好的性能來(lái)處理數(shù)據(jù)，從而推動(dòng)業(yè)務(wù)創(chuàng)新 Hadoop在數(shù)據(jù)管理中的地位 ? Hadoop在 處理網(wǎng)頁(yè)數(shù)據(jù) 等方面取得巨大成功，經(jīng)過(guò)幾年的發(fā)展，從一門(mén)邊緣技術(shù)成長(zhǎng)為一種事實(shí)上的標(biāo)準(zhǔn) ? Hadoop自身的弱點(diǎn) ? Hadoop是一個(gè)離線(xiàn)的、批量的數(shù)據(jù)處理系統(tǒng)，實(shí)時(shí)在線(xiàn) (嚴(yán)格事務(wù)，高效分析 )仍是數(shù)據(jù)庫(kù)的擅長(zhǎng) ?從數(shù)據(jù)存儲(chǔ)的角度來(lái)看， HDFS專(zhuān)門(mén)針對(duì)大文件的存儲(chǔ)， 等待時(shí)間較長(zhǎng) ，無(wú)法做到很高速的隨即讀寫(xiě) ? 把 Hadoop和數(shù)據(jù)庫(kù)結(jié)合起來(lái)應(yīng)對(duì)企業(yè)大數(shù)據(jù)的挑戰(zhàn)，是目前值得探索的方案 Hadoop?=大數(shù)據(jù) ? 來(lái)源于 Google，在類(lèi)似搜索引擎的查詢(xún)并行化分析處理領(lǐng)域取得極大成功 ? 針
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1