freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

hadoop綜述-資料下載頁

2025-08-05 00:08本頁面
  

【正文】 ? 模式固定 ? 擁有 ACID特性 ? 適于大中小程序 ? HBase ? 對數(shù)據(jù)集大小 或讀寫并發(fā)性或兩者兼容的伸宿性要求,發(fā)現(xiàn)RDBMS性能損失大。 Hbase數(shù)據(jù)模型 ? 定義 :BT是一個稀疏的,長期存儲的,多維度的,排序的映射表 。 ? 索引 :行關鍵字,列關鍵字和時間戳. ? 值 :一個不解釋的字符數(shù)組. ? 數(shù)據(jù)都是字符串,沒類型, 格式由客戶來解釋 ? (row:string, column:string,time:int64)string Hbase數(shù)據(jù)模型 行 ? 每一行都有一個可排序的主鍵和任意多的列。 ? 行關鍵字可以是任意字符串 ? 表用行鍵即主鍵排序,通過主鍵訪問表。 ? 在一個行關鍵字下的每一個讀寫操作都是原子操作 有利于同行并發(fā)操作 ? 舉例,在 Webtable里,通過反轉 URL中主機名的方式,可以把同一個域名下的網(wǎng)頁組織成連續(xù)行。 Hbase數(shù)據(jù)模型 列族 ? 每行列分組形成列族: “family:qualifiers” ? 每張表有一個 family集合,固定不變,相當于表結構 ? 列族成員有相同前綴。 OK:a與 OK:b都屬于 OK列族成員 ? 同一列族下存放的所有數(shù)據(jù)通常都是同一類型 ? 列族必須先創(chuàng)建,然后能在其中的列關鍵字下存放數(shù)據(jù),動態(tài)增加列 ? 限定詞任意字符串。比如, Webtable列族是 anchor;給列族的每一個列關鍵字代表一個錨鏈接 ? 物理存儲 ? 列族成員在文件系統(tǒng)存在一起,(確切)面向列族。 ? 這是訪問控制的基本單位。 Hbase數(shù)據(jù)模型 時間戳 ? 表中每一個表項都可以包含同一數(shù)據(jù)的多個版本不同版本的表項內(nèi)容按時間戳倒序排列,即最新的排在前面。 ? 自動進行垃圾清除。用戶可以指明只保留表項的最后 n個版本 ? 在 Webtable中,在 contents:列中存放確切爬行一個網(wǎng)頁的時間戳。如上的垃圾清除機制可以讓我們只保留每個網(wǎng)頁的最近三個版本。 Hbase數(shù)據(jù)模型 ? 行名是一個反向 URL{即 }。 ? contents列族存放網(wǎng)頁內(nèi)容 ? anchor列族存放引用該網(wǎng)頁的錨鏈接文本。 ? CNN的主頁被 Sports Illustrater和 MYlook的主頁引用,因此該行包含了名叫“ anchor:”和 “ anchhor:”的列。列名字的格式是family:label ? 時間戳 每個錨鏈接只有一個版本,由時間戳標識,如 t9, t8;而contents列則有三個版本,分別由時間 戳 t3, t5,和 t6標識。 一個存儲 Web網(wǎng)頁的例子的表的片斷 Hbase數(shù)據(jù)模型 概念視圖 ? 一個表可以想象成一個大的映射關系,通過主鍵,或者主鍵 +時間戳,可以定位一行數(shù)據(jù),由于是稀疏數(shù)據(jù),所以某些列可以是空白的,下面就是數(shù)據(jù)的概念視圖: Hbase數(shù)據(jù)模型 物理視圖 ? 在物理存儲上面,它是按照列來保存的, ? 在概念視圖上面有些列是空白的,這樣的列實際上并不會被存儲 ? 如果在查詢的時候不提供時間戳,返回最新版本 區(qū)域( tablet) ? 表橫向分不同區(qū)域,各區(qū)域代表所有行一個子集 ? 區(qū)域確定:第一行(包含)最后行(不含) +隨機標識 ? 表初始單個區(qū)域 逐漸擴大超過閾值 以行為界分割 ? 區(qū)域分散在 HBase集群上單元 ? Bigtable通過行關鍵字的字典序來維護數(shù)據(jù)。動態(tài)劃分成多個連續(xù)行叫做“子表”( tablet)是數(shù)據(jù)分布和負載均衡的單位。這樣一來,讀較少的連續(xù)行就比較有效率 架構與實現(xiàn) ? Hbase由主節(jié)點 master多個區(qū)域服務器 regionserver從結點 ? Master ? 分配區(qū)域給已注冊的區(qū)域服務器 ? Regionserver ? 負責 0到多個區(qū)域,響應客戶端讀寫請求 ? 通知 master分裂成子區(qū)域信息 特性 ? 無真正索引 ? 行順序,無索引膨脹問題,插入操作性能與表大小無關 ? 自動分區(qū) ? 商用硬件 ? 建立在 10005000節(jié)點, RDBMS非常消耗 IO? Hbase API ? BT的API提供了建立和刪除表和列族的函數(shù).還提供了函數(shù)來修改集群,表和列族的元數(shù)據(jù),比如說訪問權限 Hbase API: 寫入 Bigtable. ? / Open the table ? Table *T = OpenOrDie(”/bigtable/web/webtable”)。 ? // Write a new anchor and delete an old anchor ? RowMutation r1(T, “”)。 ? (”anchor:”, “CNN”)。 ? (”anchor:”)。 ? Operation op。 ? Apply(amp。op, amp。r1)。 Hbase API: 寫入 Bigtable. ? 在BT中,客戶應用可以寫或者刪除值,從每個行中找值,或者遍歷一個表中的數(shù)據(jù)子集.圖 2的C++代碼是使用 RowMutation抽象表示來進行一系列的更新(為保證代碼精簡,沒有包括無關的細節(jié)).調用Apply函數(shù),就對W ebtable進行了一個原子修改:它為 外一個錨點. Hbase API: 讀 Bigtable. ? Scanner scanner(T)。 ? ScanStream *stream。 ? stream = (”anchor”)。 ? streamSetReturnAllVersions()。 ? (””)。 ? for (。 !streamDone()。 streamNext()) { ? printf(”%s %s %lld %s\n”, ? (), ? streamColumnName(), ? streamMicroTimestamp(), ? streamValue())。 Hbase API: 讀 Bigtable. ? C++代碼是使用 Scanner抽象來遍歷一個行內(nèi)的所有錨點.客戶可以遍歷多個列族.有很多方法可以限制一次掃描中產(chǎn)生的行,列和時間戳.例如,我們可以限制上面的掃描,讓它只找到那些匹配正則表達式*.,或者那些時間戳在當前時間前 10天的錨點. The End
點擊復制文檔內(nèi)容
研究報告相關推薦
文庫吧 www.dybbs8.com
備案圖鄂ICP備17016276號-1