云數(shù)據(jù)管理技術與挑戰(zhàn)-wenkub.com
2024-10-13 20:11 本頁面
【正文】 云數(shù)據(jù)管理技術與挑戰(zhàn) 陸嘉恒 中國人民大學 主要內(nèi)容 2 ? 云計算與云數(shù)據(jù)管理概述 ? 各大公司的云數(shù)據(jù)管理技術 ? 人民大學研究團隊的工作 ? 云數(shù)據(jù)管理的研究挑戰(zhàn) 云數(shù)據(jù)管理的新思維 云數(shù)據(jù)管理準則 （ 1） ? Partition Everything and keyvalue storage ? 切分萬物以治之 ?數(shù)據(jù)庫的第一范式無法滿足 云數(shù)據(jù)管理準則 （ 2） ? Embrace Inconsistency ? 容不同乃成大同 ?數(shù)據(jù)庫的 ACID的屬性無法滿足 云數(shù)據(jù)管理準則 （ 3） ? Backup everything with three copies ? 狡兔三窟方高枕 ? 每個數(shù)據(jù)都有三個備份，達到 %的保障度 云數(shù)據(jù)管理準則 （ 4） ? Scalable and high performance ?運籌滄海量兼容 ? 提供一個可伸縮的，處理和分析海量數(shù)據(jù)的平臺 撥云見日 ?切分萬物以治之 ?容不同乃成大同 ?狡兔三窟方高枕 ?運籌滄海量兼容 主要內(nèi)容 11 ? 云計算與云數(shù)據(jù)管理概述 ? 各大公司的云數(shù)據(jù)管理技術 ? 人民大學研究團隊的工作 ? 云數(shù)據(jù)管理的研究挑戰(zhàn) 主要內(nèi)容 Google 文件系統(tǒng) (GFS) ? 適用于大規(guī)模數(shù)據(jù)密集型應用程序的可擴展分布式文件系統(tǒng) ? 多個部署 GFS的集群已經(jīng)建成 ? 目前最大的集群為： – 10000多個存儲節(jié)點 – 300+PB的存儲容量 –可供不同機器上的上百用戶同時讀取 介紹：觀察 1 ? 控件的故障時常發(fā)生 –系統(tǒng)集成了實時監(jiān)控、錯誤檢測、容錯性和自動恢復等功能 ? 超大文件（與普通文件相比） – GB大小的文件很正常 介紹：觀察 2 ? 大部分文件修改都是添加新的內(nèi)容 –需要考慮優(yōu)化性能和保證原子性 ? 協(xié)同設計應用程序和 API有利于增加整個系統(tǒng)的靈活性 設計 ? 集群包含一個 master和多個 chunkservers，并且可供多個用戶讀取 GAE Web應用 GAE Web服務基礎設施 分布式存儲服務 應用程序運行時 環(huán)境 應用開發(fā)套件 管理控制臺 Google App Engine 分布式存儲服務 ? GAE提供的分布式存儲服務基于 BigTable技術 ? 通過 Java JDO/JPA接口或 Python
教學課件相關推薦
鄂ICP備17016276號-1