從大數(shù)據(jù)熱看我國計算機學界的機遇-文庫吧
2025-02-11 14:27 本頁面
【正文】 Cloudera公司 ， Hadoop商用版 （ Apache開源版 ） ? 2023秋天 : Hadoop 由 Apache作為 Lucene的子項目 Nutch的一部分正式引入。 ? 2023年 3月： Map/Reduce 和 Nutch Distributed File System (NDFS) 分別被納入 Hadoop 的項目中 ? – 2023: Webscale Hadoop! (Yahoo!) Hadoop生態(tài)圈（部分） ? Hadoop Common：在 ，包含 HDFS、 MapReduce和其他項目公共內(nèi)容，從 HDFS和 MapReduce成 為獨立的子項目 ? MapReduce：分布式并行計算框架 ， Hadoop的核心 ? HDFS (Hadoop Distributed File System)：所起的作用 就是使得 每個服務(wù)器必須具備對數(shù)據(jù)的訪問能力 ? Pig： 編程語言，簡化 Hadoop常見的工作任務(wù) ，Pig可加載數(shù)據(jù)、表達轉(zhuǎn)換數(shù)據(jù)以及存儲最終結(jié)果 Hadoop生態(tài)圈（部分） ? Hbase (BigTable)：分布式列 存儲 數(shù)據(jù)庫 ， 2023年成為 Hadoop子項目， 2023年 5月頂級 Apache 項目 ? Hive (Facebook): 數(shù)據(jù)倉庫工具， 架構(gòu) 在 HDFS之上 ， 增加靜態(tài)數(shù)據(jù)結(jié)構(gòu)，方便 使用進行數(shù)據(jù) 分析查詢， 2023年 9月成為 Hadoop子項目 ? Zookeeper (Facebook)：分布式鎖設(shè)施 ， 提供類似 Google Chubby的功能 ? Avro：新的數(shù)據(jù)序列化格式與傳輸工具 ， 2023年 5月成為頂級 Apache 項目 ? …… Hadoop在數(shù)據(jù)管理中的地位 ? Hadoop是一個可以更容易開發(fā)和存儲大規(guī)模數(shù)據(jù)的軟件平臺，幫助用戶快速、 低成本 地實現(xiàn) 大數(shù)據(jù)的存儲、管理及分析查詢 ? Hadoop的關(guān)鍵構(gòu)成： MapReduce + HDFS ?MapReduce可實現(xiàn) 高性能分布式并行 數(shù)據(jù)處理 ?HDFS提供可靠數(shù)據(jù)存儲服務(wù)， 低廉 MPP，高容錯、高通量，可伸縮 ? 用戶可在 不了解分布式底層細節(jié) 的情況下，開發(fā)分布式程序，充分利用 MPP的能力 Hadoop在數(shù)據(jù)管理中的地位 ? 用戶對大數(shù)據(jù)存儲、管理和分析需求迫切 ? 傳統(tǒng)數(shù)據(jù)庫對 非結(jié)構(gòu)化數(shù)據(jù) 幾乎無能為力 ? 利用傳統(tǒng)數(shù)據(jù)庫來對大數(shù)據(jù)進行處理時，會面臨很多難以解決的問題。 ?軟、硬件平臺的要求高，成本壓力 ?成本和收益不匹配的 ? 充分發(fā)掘和利用非結(jié)構(gòu)化數(shù)據(jù)背后的商業(yè)價值，用戶希望能以 更經(jīng)濟的方式 、更好的性能來處理數(shù)據(jù)，從而推動業(yè)務(wù)創(chuàng)新 Hadoop在數(shù)據(jù)管理中的地位 ? Hadoop在 處理網(wǎng)頁數(shù)據(jù) 等方面取得巨大成功，經(jīng)過幾年的發(fā)展，從一門邊緣技術(shù)成長為一種事實上的標準 ? Hadoop自身的弱點 ? Hadoop是一個離線的、批量的數(shù)據(jù)處理系統(tǒng)，實時在線 (嚴格事務(wù)，高效分析 )仍是數(shù)據(jù)庫的擅長 ?從數(shù)據(jù)存儲的角度來看， HDFS專門針對大文件的存儲， 等待時間較長 ，無法做到很高速的隨即讀寫 ? 把 Hadoop和數(shù)據(jù)庫結(jié)合起來應(yīng)對企業(yè)大數(shù)據(jù)的挑戰(zhàn)，是目前值得探索的方案 Hadoop?=大數(shù)據(jù) ? 來源于 Google，在類似搜索引擎的查詢并行化分析處理領(lǐng)域取得極大成功 ? 針
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號-1