【正文】 完成的復(fù)雜查詢，現(xiàn)在使用Greenplum只需要幾分鐘完成！216。使用獨有的sharingnothing MPP架構(gòu)，服務(wù)器的集群工作起來，就像是一個獨立的超級計算機(jī)！優(yōu)化了BI和分析方法，自動化分區(qū)數(shù)據(jù)和并行查詢，比傳統(tǒng)數(shù)據(jù)庫執(zhí)行速度提高10倍～100倍！Greenplum數(shù)據(jù)庫的特色：216。Greenplum公司的Greenplum數(shù)據(jù)庫產(chǎn)品是用于建造下一代數(shù)據(jù)倉庫和巨大規(guī)模分析系統(tǒng)的軟件解決方案。能夠以極低的成本代價，提供業(yè)界領(lǐng)先的計算性能。GreenPlum數(shù)據(jù)庫集群安裝說明及使用手冊開心十二月總結(jié)****年**月**日目 錄1 體系結(jié)構(gòu)介紹 42 安裝 10 安裝 10 安裝準(zhǔn)備 10 安裝gpdb 11 配置通訊 13 建立數(shù)據(jù)存儲池 17 同步系統(tǒng)時間 17 驗證安裝是否成功 17 初始化 17 數(shù)據(jù)庫的啟停 18 Master雙機(jī)熱備 19 Segment節(jié)點互備 203 GP數(shù)據(jù)庫的使用 22 pgAdminIII工具 22 安裝和第一次使用pgAdminIII 22 主窗體 23 導(dǎo)航菜單 23 工具欄介紹 24 數(shù)據(jù)庫與表的創(chuàng)建 25 使用pgAdminIII備份數(shù)據(jù)庫 25 JDBC配置 26 GP數(shù)據(jù)庫兩個重要概念 27 什么是Schema 27 數(shù)據(jù)分布存儲 28 GP的SQL語法 28 數(shù)據(jù)加載 28 SQL并行查詢 31 聚合函數(shù) 31 索引 31 分區(qū) 32 函數(shù) 344 維護(hù)數(shù)據(jù)庫 38 數(shù)據(jù)庫啟動 gpstart 38 數(shù)據(jù)庫停止 gpstop 40 查看實例配置和狀態(tài) 40 查看數(shù)據(jù)庫運(yùn)行狀態(tài) gpstate 40 查看用戶會話和提交的查詢等信息 42 查看數(shù)據(jù)庫、表占用空間 42 查看數(shù)據(jù)分布情況 42 實例恢復(fù) gprecoverseg 42 查看鎖信息 43 數(shù)據(jù)庫的備份與恢復(fù) 435 調(diào)優(yōu)、排錯 436 附件 43 DBA常用命令 437 Qamp。A 44 不支持觸發(fā)器 44 更新操作中的若干問題 441 體系結(jié)構(gòu)介紹 Greenplum數(shù)據(jù)庫產(chǎn)品——下一代數(shù)據(jù)倉庫引擎和分析方法Greenplum公司是企業(yè)數(shù)據(jù)云計算解決方案的創(chuàng)始人，為客戶提供靈活的數(shù)據(jù)商業(yè)智能和分析方法?？蛻舯榧懊绹髽I(yè)：Nasdaq、NYSE、Ebay、Fox Interactive Media……等。支持SQL和MapReduce并行處理，更適合管理TB級～PB級的海量數(shù)據(jù)，并以極低的成本代價提供了業(yè)界領(lǐng)先的計算性能。 大規(guī)模地并行分析處理能力Greenplum數(shù)據(jù)庫可以跨越100～1000顆CPU，實現(xiàn)統(tǒng)一的并行操作引擎，讓處理過程盡可能地靠近數(shù)據(jù)。 核心的MPP架構(gòu)Greenplum數(shù)據(jù)庫提供數(shù)據(jù)和查詢的自動化并行：數(shù)據(jù)被自動分區(qū)跨越集群中的所有節(jié)點；查詢以高度協(xié)作的方式，在集群的所有節(jié)點上執(zhí)行。 高速PB級數(shù)據(jù)裝載利用獨有的MPP Scatter/Gather Streaming技術(shù)，實現(xiàn)高速的數(shù)據(jù)裝載。 數(shù)據(jù)庫內(nèi)部壓縮利用業(yè)界領(lǐng)先的壓縮技術(shù)提高性能和降低存儲空間。216。216。處理性能和存儲容量，隨服務(wù)器的個數(shù)增加成正比顯著提高！216。Greenplum使用獨有的并行引擎執(zhí)行MapReduce。數(shù)據(jù)庫實際上由1個Master服務(wù)器和若干個獨立的Segment服務(wù)器組成，一起協(xié)調(diào)工作，每個服務(wù)器都是獨立的PostgreSQL數(shù)據(jù)庫。Master不存儲任何用戶數(shù)據(jù)，只有全局系統(tǒng)視圖。用戶數(shù)據(jù)（表、索引）被分布存儲到有效的若干Segment，通過Hash算法，每個Segment存放數(shù)據(jù)的不同部分。獨立的Master服務(wù)器，通過千兆網(wǎng)絡(luò)連接在一起的若干Segment服務(wù)器，每個Segment服務(wù)器掛載獨立的RAID存儲。圖3：Greenplum數(shù)據(jù)庫完整實施架構(gòu)示例圖4記錄了一次完整的MPP并行查詢過程。調(diào)度過程如下：1．Master驗證客戶端用戶。3．Master解析SQL語句。5．Master分布查詢計劃到所有的Segment實例。7．Master收集所有Segment的查詢結(jié)果并返回到客戶端。Greenplum的SharingNothing架構(gòu)物理分離數(shù)據(jù)，存儲到若干Segment服務(wù)器，每個Segment使用多個、專用的、獨立的、高速的通道獨立連接到磁盤，并把管理數(shù)據(jù)庫資源：buffer、lock、block的職責(zé)委派到各個Segment，不使用Master統(tǒng)一管理資源！從圖5中可以看出與SharingEverything架構(gòu)（如Oracle RAC）對比，存在2個明顯區(qū)別：SegmentnSegment2Segment1圖5：sharingeverying對比sharingnothing數(shù)據(jù)庫架構(gòu)1） 數(shù)據(jù)庫物理存儲方式不同：在RAC環(huán)境下，數(shù)據(jù)庫集中存儲，集群中的所有節(jié)點共享I/O通道訪問數(shù)據(jù)，隨著TB級別海量數(shù)據(jù)的增加，I/O瓶頸可想而知。用戶對每個block的訪問，都要經(jīng)過GRD的協(xié)調(diào)調(diào)度，極其繁瑣且需要額外的進(jìn)程通信負(fù)擔(dān)；隨著節(jié)點個數(shù)的增加，GRD會增加管理的復(fù)雜度，可能會導(dǎo)致產(chǎn)生性能問題！圖6：Oracle RAC的GRD架構(gòu)2 安裝 安裝 安裝準(zhǔn)備VMware Workstation os的配置以root用戶操作 檢查系統(tǒng)條件檢查系統(tǒng)名稱,版本,內(nèi)核. uname a檢查磁盤空間 df h 設(shè)置主機(jī)名vi /etc/sysconfig/network HOSTNAME=*single* (*變量*,以后出現(xiàn)*string*,均指變量) 設(shè)置集群各個機(jī)器ip與主機(jī)的對應(yīng)表vi /etc/hosts single localhost配置運(yùn)行參數(shù)： vi /etc/: = 250 64000 100 512 = 500000000（最大共享內(nèi)存） = 4096 = 4000000000（共享內(nèi)存總量） = 250 64000 100 512 = 1 = 1 = 65536 = 65536 = 1 = 0 = 0 =1 =4096 = 1 =10000 =2 vi /etc/security/ 添加修改 * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 關(guān)閉iptables[rootlocalhost ~] service iptables stopiptables：清除防火墻規(guī)則： [確定]iptables：將鏈設(shè)置為政策 ACCEPT：filter [確定]iptables：正在卸載模塊： [確定][rootlocalhost ~] chkconfig iptables off[rootlocalhost ~] service ip6tables stopip6tables：清除防火墻規(guī)則： [確定]ip6tables：將 chains 設(shè)置為 ACCEPT 策略：filter [確定]：正在卸載模塊： [確定][rootlocalhost ~] chkconfig ip6tables off 安裝gpdb創(chuàng)建gpadmin用戶 useradd gpadmin passwd gpadmin New password: gpadmin Retype new password: gpadmin 解壓zip包例如:把安裝包copy到/home/gpadmin目錄下su gpadmincd /home/gpadminunzip 執(zhí)行安裝文件./ 安裝過程比較容易，但是注意要修改一下安裝路徑為/home/gpadmin/ 下圖打印了安裝時的情況： 出現(xiàn)如下提示:********************************************************************************Do you accept the Greenplum Database license agreement? [yes|no]********************************************************************************yes********************************************************************************Provide the installation path for Greenplum Database or press ENTER to accept the default installation path: /home/********************************************************************************/home/gpadmin/********************************************************************************Install Greenplum Database into /home/gpadmin/? [yes|no]********************************************************************************yes********************************************************************************/home/gpadmin/ does not exist.Create /home/gpadmin/ ? [yes|no](Selecting no will exit the installer)********************************************************************************yes********************************************************************************[Optional] Provide the path to a previous installation of Greenplum Database,or press ENTER to skip this step. . /home/This installation step will migrate any Greenplum Database extensions from theprovided path to the version currently being installed. This step is optional and can be run later with: gppkg migrate path_to_old_gphome /home/gpadmin/********************************************************************************Extracting product to /home/gpadmin/Extracting product to /home/gpadmin/Skipping migration of Greenplum Database extensions...********************************************************************************Installation plete.Greenplum Database is installed in /home/gpadmin/Greenplum Database documentation is available for downloadat .********************************************************************************安裝成功! 配置通訊登錄master機(jī)器 source /home/gpadmin/greenplumdb/ 編輯一個主機(jī)列表 列表為主機(jī)名.cd /h