云數(shù)據(jù)管理技術(shù)與挑戰(zhàn)(參考版)
2024-10-21 20:11本頁(yè)面
【正文】 云數(shù)據(jù)管理技術(shù)與挑戰(zhàn) 陸嘉恒 中國(guó)人民大學(xué) 主要內(nèi)容 2 ? 云計(jì)算與云數(shù)據(jù)管理概述 ? 各大公司的云數(shù)據(jù)管理技術(shù) ? 人民大學(xué)研究團(tuán)隊(duì)的工作 ? 云數(shù)據(jù)管理的研究挑戰(zhàn) 云數(shù)據(jù)管理的新思維 云數(shù)據(jù)管理準(zhǔn)則 （ 1） ? Partition Everything and keyvalue storage ? 切分萬(wàn)物以治之 ?數(shù)據(jù)庫(kù)的第一范式無(wú)法滿足 云數(shù)據(jù)管理準(zhǔn)則 （ 2） ? Embrace Inconsistency ? 容不同乃成大同 ?數(shù)據(jù)庫(kù)的 ACID的屬性無(wú)法滿足 云數(shù)據(jù)管理準(zhǔn)則 （ 3） ? Backup everything with three copies ? 狡兔三窟方高枕 ? 每個(gè)數(shù)據(jù)都有三個(gè)備份，達(dá)到 %的保障度 云數(shù)據(jù)管理準(zhǔn)則 （ 4） ? Scalable and high performance ?運(yùn)籌滄海量兼容 ? 提供一個(gè)可伸縮的，處理和分析海量數(shù)據(jù)的平臺(tái) 撥云見日 ?切分萬(wàn)物以治之 ?容不同乃成大同 ?狡兔三窟方高枕 ?運(yùn)籌滄海量兼容 主要內(nèi)容 11 ? 云計(jì)算與云數(shù)據(jù)管理概述 ? 各大公司的云數(shù)據(jù)管理技術(shù) ? 人民大學(xué)研究團(tuán)隊(duì)的工作 ? 云數(shù)據(jù)管理的研究挑戰(zhàn) 主要內(nèi)容 Google 文件系統(tǒng) (GFS) ? 適用于大規(guī)模數(shù)據(jù)密集型應(yīng)用程序的可擴(kuò)展分布式文件系統(tǒng) ? 多個(gè)部署 GFS的集群已經(jīng)建成 ? 目前最大的集群為： – 10000多個(gè)存儲(chǔ)節(jié)點(diǎn) – 300+PB的存儲(chǔ)容量 –可供不同機(jī)器上的上百用戶同時(shí)讀取 介紹：觀察 1 ? 控件的故障時(shí)常發(fā)生 –系統(tǒng)集成了實(shí)時(shí)監(jiān)控、錯(cuò)誤檢測(cè)、容錯(cuò)性和自動(dòng)恢復(fù)等功能 ? 超大文件（與普通文件相比） – GB大小的文件很正常 介紹：觀察 2 ? 大部分文件修改都是添加新的內(nèi)容 –需要考慮優(yōu)化性能和保證原子性 ? 協(xié)同設(shè)計(jì)應(yīng)用程序和 API有利于增加整個(gè)系統(tǒng)的靈活性 設(shè)計(jì) ? 集群包含一個(gè) master和多個(gè) chunkservers，并且可供多個(gè)用戶讀取 GAE Web應(yīng)用 GAE Web服務(wù)基礎(chǔ)設(shè)施 分布式存儲(chǔ)服務(wù) 應(yīng)用程序運(yùn)行時(shí) 環(huán)境 應(yīng)用開發(fā)套件 管理控制臺(tái) Google App Engine 分布式存儲(chǔ)服務(wù) ? GAE提供的分布式存儲(chǔ)服務(wù)基于 BigTable技術(shù) ? 通過 Java JDO/JPA接口或 Python
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1