從大數(shù)據(jù)熱看我國計(jì)算機(jī)學(xué)界的機(jī)遇-預(yù)覽頁
【正文】 精髓，突出內(nèi)存集群技術(shù)的應(yīng)用，關(guān)注系統(tǒng)可靠性、可擴(kuò)展性、數(shù)據(jù)的一致性 ? 發(fā)揮優(yōu)勢，秉承數(shù)據(jù)庫傳統(tǒng) :，開展功能抽象和評測基準(zhǔn)研究，重點(diǎn)攻關(guān)事務(wù)處理系統(tǒng) 結(jié)語 ? 數(shù)據(jù)管理和數(shù)據(jù)分析系統(tǒng)是企業(yè)數(shù)據(jù)平臺的核心組成部分， 應(yīng)用是促進(jìn)數(shù)據(jù)系統(tǒng)發(fā)展的原動(dòng)力 ? 數(shù)據(jù)系統(tǒng)的 原點(diǎn)是文件系統(tǒng) ， RDBMS和 Hadoop是從這一原點(diǎn)發(fā)展起來的，新的數(shù)據(jù)系統(tǒng)也會一樣 ? 大數(shù)據(jù)研究是應(yīng)用驅(qū)動(dòng)的 ? One Size Fits All ? One Size Fits a Bunch ?我們處在一個(gè)充滿機(jī)遇的窗口 期 (制度、文化、 習(xí)俗 ) ? 內(nèi)存計(jì)算和基準(zhǔn)評測研究、 OLTP和 OLAP區(qū)別對待 有助于設(shè)計(jì)出我國金融企業(yè)數(shù)據(jù)平臺所需要的高性能的數(shù)據(jù)系統(tǒng) 敬請指正 謝謝 ! 演講完畢，謝謝觀看！ 。 ? 2023年 3月： Map/Reduce 和 Nutch Distributed File System (NDFS) 分別被納入 Hadoop 的項(xiàng)目中 ? – 2023: Webscale Hadoop! (Yahoo!) Hadoop生態(tài)圈（部分） ? Hadoop Common：在 ，包含 HDFS、 MapReduce和其他項(xiàng)目公共內(nèi)容，從 HDFS和 MapReduce成 為獨(dú)立的子項(xiàng)目 ? MapReduce：分布式并行計(jì)算框架 ， Hadoop的核心 ? HDFS (Hadoop Distributed File System)：所起的作用 就是使得 每個(gè)服務(wù)器必須具備對數(shù)據(jù)的訪問能力 ? Pig： 編程語言，簡化 Hadoop常見的工作任務(wù) ，Pig可加載數(shù)據(jù)、表達(dá)轉(zhuǎn)換數(shù)據(jù)以及存儲最終結(jié)果 Hadoop生態(tài)圈（部分） ? Hbase (BigTable)：分布式列 存儲 數(shù)據(jù)庫 ， 2023年成為 Hadoop子項(xiàng)目， 2023年 5月頂級 Apache 項(xiàng)目 ? Hive (Facebook): 數(shù)據(jù)倉庫工具， 架構(gòu) 在 HDFS之上 ， 增加靜態(tài)數(shù)據(jù)結(jié)構(gòu)，方便 使用進(jìn)行數(shù)據(jù) 分析查詢， 2023年 9月成為 Hadoop子項(xiàng)目 ? Zookeeper (Facebook)：分布式鎖設(shè)施 ， 提供類似 Google Chubby的功能 ? Avro：新的數(shù)據(jù)序列化格式與傳輸工具 ， 2023年 5月成為頂級 Apache 項(xiàng)目 ? …… Hadoop在數(shù)據(jù)管理中的地位 ? Hadoop是一個(gè)可以更容易開發(fā)和存儲大規(guī)模數(shù)據(jù)的軟件平臺，幫助用戶快速、 低成本 地實(shí)現(xiàn) 大數(shù)據(jù)的存儲、管理及分析查詢 ? Hadoop的關(guān)鍵構(gòu)成： MapReduce + HDFS ?MapReduce可實(shí)現(xiàn) 高性能分布式并行 數(shù)據(jù)處理 ?HDFS提供可靠數(shù)據(jù)存儲服務(wù)， 低廉 MPP，高容錯(cuò)、高通量，可伸縮 ? 用戶可在 不了解分布式底層細(xì)節(jié) 的情況下，開發(fā)分布式程序，充分利用 MPP的能力 Hadoop在數(shù)據(jù)管理中的地位 ? 用戶對大數(shù)據(jù)存儲、管理和分析需求迫切 ? 傳統(tǒng)數(shù)據(jù)庫對 非結(jié)構(gòu)化數(shù)據(jù) 幾乎無能為力 ? 利用傳統(tǒng)數(shù)據(jù)庫來對大數(shù)據(jù)進(jìn)行處理時(shí)，會面臨很多難以解決的問題。 ? Cloudera公司 ， Hadoop商用版 （ Apache開源版 ） ? 2023秋天 : Hadoop 由 Apache作為 Lucene的子項(xiàng)目 Nutch的一部分正式引入
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號-1