【正文】 GreenPlum數(shù)據(jù)庫集群安裝說明及使用手冊開心十二月總結(jié)****年**月**日目 錄1 體系結(jié)構(gòu)介紹 42 安裝 10 安裝 10 安裝準備 10 安裝gpdb 11 配置通訊 13 建立數(shù)據(jù)存儲池 17 同步系統(tǒng)時間 17 驗證安裝是否成功 17 初始化 17 數(shù)據(jù)庫的啟停 18 Master雙機熱備 19 Segment節(jié)點互備 203 GP數(shù)據(jù)庫的使用 22 pgAdminIII工具 22 安裝和第一次使用pgAdminIII 22 主窗體 23 導(dǎo)航菜單 23 工具欄介紹 24 數(shù)據(jù)庫與表的創(chuàng)建 25 使用pgAdminIII備份數(shù)據(jù)庫 25 JDBC配置 26 GP數(shù)據(jù)庫兩個重要概念 27 什么是Schema 27 數(shù)據(jù)分布存儲 28 GP的SQL語法 28 數(shù)據(jù)加載 28 SQL并行查詢 31 聚合函數(shù) 31 索引 31 分區(qū) 32 函數(shù) 344 維護數(shù)據(jù)庫 38 數(shù)據(jù)庫啟動 gpstart 38 數(shù)據(jù)庫停止 gpstop 40 查看實例配置和狀態(tài) 40 查看數(shù)據(jù)庫運行狀態(tài) gpstate 40 查看用戶會話和提交的查詢等信息 42 查看數(shù)據(jù)庫、表占用空間 42 查看數(shù)據(jù)分布情況 42 實例恢復(fù) gprecoverseg 42 查看鎖信息 43 數(shù)據(jù)庫的備份與恢復(fù) 435 調(diào)優(yōu)、排錯 436 附件 43 DBA常用命令 437 Qamp。A 44 不支持觸發(fā)器 44 更新操作中的若干問題 441 體系結(jié)構(gòu)介紹 Greenplum數(shù)據(jù)庫產(chǎn)品——下一代數(shù)據(jù)倉庫引擎和分析方法Greenplum公司是企業(yè)數(shù)據(jù)云計算解決方案的創(chuàng)始人，為客戶提供靈活的數(shù)據(jù)商業(yè)智能和分析方法。能夠以極低的成本代價，提供業(yè)界領(lǐng)先的計算性能?？蛻舯榧懊绹髽I(yè)：Nasdaq、NYSE、Ebay、Fox Interactive Media……等。Greenplum公司的Greenplum數(shù)據(jù)庫產(chǎn)品是用于建造下一代數(shù)據(jù)倉庫和巨大規(guī)模分析系統(tǒng)的軟件解決方案。支持SQL和MapReduce并行處理，更適合管理TB級～PB級的海量數(shù)據(jù)，并以極低的成本代價提供了業(yè)界領(lǐng)先的計算性能。使用獨有的sharingnothing MPP架構(gòu)，服務(wù)器的集群工作起來，就像是一個獨立的超級計算機！優(yōu)化了BI和分析方法，自動化分區(qū)數(shù)據(jù)和并行查詢，比傳統(tǒng)數(shù)據(jù)庫執(zhí)行速度提高10倍～100倍！Greenplum數(shù)據(jù)庫的特色：216。 大規(guī)模地并行分析處理能力Greenplum數(shù)據(jù)庫可以跨越100～1000顆CPU，實現(xiàn)統(tǒng)一的并行操作引擎，讓處理過程盡可能地靠近數(shù)據(jù)。Greenplum是業(yè)界最快的和最普及的高端數(shù)據(jù)倉庫解決方案！用傳統(tǒng)方式需花費數(shù)天才能完成的復(fù)雜查詢，現(xiàn)在使用Greenplum只需要幾分鐘完成！216。 核心的MPP架構(gòu)Greenplum數(shù)據(jù)庫提供數(shù)據(jù)和查詢的自動化并行：數(shù)據(jù)被自動分區(qū)跨越集群中的所有節(jié)點；查詢以高度協(xié)作的方式，在集群的所有節(jié)點上執(zhí)行。216。 高速PB級數(shù)據(jù)裝載利用獨有的MPP Scatter/Gather Streaming技術(shù)，實現(xiàn)高速的數(shù)據(jù)裝載。每增加1個節(jié)點，每小時裝載吞吐量提高4TB！216。 數(shù)據(jù)庫內(nèi)部壓縮利用業(yè)界領(lǐng)先的壓縮技術(shù)提高性能和降低存儲空間。在有效較少1/3～1/10空間的同時，相應(yīng)地提高了I/O性能。216。 多級容錯能力Greenplum數(shù)據(jù)庫利用多級冗余技術(shù)，在硬件或軟件故障時，保障操作可以繼續(xù)執(zhí)行。216。 在線系統(tǒng)擴展為提高存儲容量、處理性能，增加新的服務(wù)器到集群中，擴展的操作在后臺完成，數(shù)據(jù)庫可以繼續(xù)保持正常工作狀態(tài)不受影響。處理性能和存儲容量，隨服務(wù)器的個數(shù)增加成正比顯著提高！216。 自有的MapReduce技術(shù)MapReduce是Google和Yahoo的大規(guī)模數(shù)據(jù)分析方法。Greenplum使用獨有的并行引擎執(zhí)行MapReduce。Greenplum數(shù)據(jù)庫架構(gòu)原理解密：Greenplum數(shù)據(jù)庫通過分布負載到多個服務(wù)器主機，實現(xiàn)操作存儲和處理大規(guī)模的數(shù)據(jù)。數(shù)據(jù)庫實際上由1個Master服務(wù)器和若干個獨立的Segment服務(wù)器組成，一起協(xié)調(diào)工作，每個服務(wù)器都是獨立的PostgreSQL數(shù)據(jù)庫。如圖1所示，Master服務(wù)器是數(shù)據(jù)庫的入口，驗證客戶端，處理輸入的SQL，分布工作到若干Segment服務(wù)器，統(tǒng)一協(xié)調(diào)各個Segment返回的結(jié)果，匯總最終結(jié)果返回客戶端。Master不存儲任何用戶數(shù)據(jù)，只有全局系統(tǒng)視圖。圖1：Greenplum數(shù)據(jù)庫架構(gòu) 如圖2所示，Segment服務(wù)器是真正數(shù)據(jù)存儲的地方，并承擔主要的查詢工作。用戶數(shù)據(jù)（表、索引）被分布存儲到有效的若干Segment，通過Hash算法，每個Segment存放數(shù)據(jù)的不同部分。圖2：Segment服務(wù)器真正存儲數(shù)據(jù)圖3展示了一套完整的Greenplum數(shù)據(jù)倉庫實施架構(gòu)示例。獨立的Master服務(wù)器，通過千兆網(wǎng)絡(luò)連接在一起的若干Segment服務(wù)器，每個Segment服務(wù)器掛載獨立的RAID存儲。服務(wù)器基于X86－64位硬件平臺，安裝Linux操作系統(tǒng)，獲得極高的性價比。圖3：Greenplum數(shù)據(jù)庫完整實施架構(gòu)示例圖4記錄了一次完整的MPP并行查詢過程。Master作為查詢調(diào)度器，為客戶端提供連接工作；Segment獨立管理數(shù)據(jù)片和數(shù)據(jù)操作。調(diào)度過程如下：1．Master驗證客戶端用戶。2．Master連接到所有遠程Segment實例。3．Master解析SQL語句。4．Master建立1個優(yōu)化的并行查詢計劃。5．Master分布查詢計劃到所有的Segment實例。6．Master協(xié)調(diào)查詢計劃在所有Segment上并行執(zhí)行。7．Master收集所有Segment的查詢結(jié)果并返回到客戶端。圖4：一次查詢調(diào)度過程Greenplum獨有的Sharing－Nothing架構(gòu)：數(shù)據(jù)倉庫在執(zhí)行全表掃描查詢時，通常速度被存儲的帶寬限制，即瓶頸大多集中在I/O。Greenplum的SharingNothing架構(gòu)物理分離數(shù)據(jù)，存儲到若干Segment服務(wù)器，每個Segment使用多個、專用的、獨立的、高速的通道獨立連接到磁盤，并把管理數(shù)據(jù)庫資源：buffer、lock、block的職責委派到各個Segment，不使用Master統(tǒng)一管理資源！從圖5中可以看出與SharingEverything架構(gòu)（如Oracle RAC）對比，存在2個明顯區(qū)別：SegmentnSegment2Segment1圖5：sharingeverying對比sharingnothing數(shù)據(jù)庫架構(gòu)1） 數(shù)據(jù)庫物理存儲方式不同：在RAC環(huán)境下，數(shù)據(jù)庫集中存儲，集群中的所有節(jié)點共享I/O通道訪問數(shù)據(jù)，隨著TB級別海量數(shù)據(jù)的增加，I/O瓶頸可想而知。2） 集群節(jié)點間內(nèi)部通信管理方式不同：如圖6，RAC使用GRD（Global Resource Directory）統(tǒng)一管理數(shù)據(jù)庫資源，管理內(nèi)部節(jié)點間通信。用戶對每個block的訪問，都要經(jīng)過GRD的協(xié)調(diào)調(diào)度，極其繁瑣且需要額外的進程通信負擔；隨著節(jié)點個數(shù)的增加，GRD會增加管理的復(fù)雜度，可能會導(dǎo)致產(chǎn)生性能問題！圖6：Oracle RAC的GRD架構(gòu)2 安裝 安裝 安裝準備VMware Workstation os的配置以root用戶操作 檢查系統(tǒng)條件檢查系統(tǒng)名稱,版本,內(nèi)核. uname a檢查磁盤空間 df h 設(shè)置主機名vi /etc/sysconfig/network HOSTNAME=*single* (*變量*,以后出現(xiàn)*string*,均指變量) 設(shè)置集群各個機器ip與主機的對應(yīng)表vi /etc/hosts single localhost配置運行參數(shù)： vi /etc/: = 250 64000 100 512 = 500000000（最大共享內(nèi)存） = 4096 = 4000000000（共享內(nèi)存總量） = 250 64000 100 512 = 1 = 1 = 65536 = 65536 = 1 = 0 = 0 =1 =4096 = 1 =10000 =2 vi /etc/security/ 添加修改 * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 關(guān)閉iptables[root@localhost ~] service iptables stopiptables：清除防火墻規(guī)則： [確定]iptables：將鏈設(shè)置為政策 ACCEPT：filter [確定]iptables：正在卸載模塊： [確定][root@localhost ~] chkconfig iptables off[root@localhost ~] service ip6tables stopip6tables：清除防火墻規(guī)則： [確定]ip6tables：將 chains 設(shè)置為 ACCEPT 策略：filter [確定]：正在卸載模塊： [確定][root@localhost ~] chkconfig ip6tables off 安裝gpdb創(chuàng)建gpadmin用戶 useradd gpadmin passwd gpadmin New password: gpadmin Retype new password: gpadmin 解壓zip包例如:把安裝包copy到/home/gpadmin目錄下su gpadmincd /home/gpadminunzip 執(zhí)行安裝文件./ 安裝過程比較容易，但是注意要修改一下安裝路徑為/home/gpadmin/ 下圖打印了安裝時的情況： 出現(xiàn)如下提示:********************************************************************************Do you accept the Greenplum Database license agreement? [yes|no]********************************************************************************yes********************************************************************************Provide the installation path for Greenplum Database or press ENTER to accept the default installation path: /home/********************************************************************************/home/gpadmin/********************************************************************************Install Greenplum Database into /home/gpadmin/? [yes|no]********************************************************************************yes********************************************************************************/home/gpadmin/ does not exist.Create /home/gpadmin/ ? [yes|no](Selecting no will exit the installer)********************************************************************************yes********************************************************************************[Optional] Provide the path to a previous installation of Greenplum Database,or press ENTER to skip this step. . /home/This installation step will migrate any Greenplum Database extensions from theprovided path to the version currently being installed. This step is optional and can be run later with: gppkg migrate path_to_old_gphome /home/gpadmin/********************************************************************************Extracting