【正文】 GreenPlum數(shù)據(jù)庫(kù)集群安裝說明及使用手冊(cè)開心十二月總結(jié)****年**月**日目 錄1 體系結(jié)構(gòu)介紹 42 安裝 10 安裝 10 安裝準(zhǔn)備 10 安裝gpdb 11 配置通訊 13 建立數(shù)據(jù)存儲(chǔ)池 17 同步系統(tǒng)時(shí)間 17 驗(yàn)證安裝是否成功 17 初始化 17 數(shù)據(jù)庫(kù)的啟停 18 Master雙機(jī)熱備 19 Segment節(jié)點(diǎn)互備 203 GP數(shù)據(jù)庫(kù)的使用 22 pgAdminIII工具 22 安裝和第一次使用pgAdminIII 22 主窗體 23 導(dǎo)航菜單 23 工具欄介紹 24 數(shù)據(jù)庫(kù)與表的創(chuàng)建 25 使用pgAdminIII備份數(shù)據(jù)庫(kù) 25 JDBC配置 26 GP數(shù)據(jù)庫(kù)兩個(gè)重要概念 27 什么是Schema 27 數(shù)據(jù)分布存儲(chǔ) 28 GP的SQL語(yǔ)法 28 數(shù)據(jù)加載 28 SQL并行查詢 31 聚合函數(shù) 31 索引 31 分區(qū) 32 函數(shù) 344 維護(hù)數(shù)據(jù)庫(kù) 38 數(shù)據(jù)庫(kù)啟動(dòng) gpstart 38 數(shù)據(jù)庫(kù)停止 gpstop 40 查看實(shí)例配置和狀態(tài) 40 查看數(shù)據(jù)庫(kù)運(yùn)行狀態(tài) gpstate 40 查看用戶會(huì)話和提交的查詢等信息 42 查看數(shù)據(jù)庫(kù)、表占用空間 42 查看數(shù)據(jù)分布情況 42 實(shí)例恢復(fù) gprecoverseg 42 查看鎖信息 43 數(shù)據(jù)庫(kù)的備份與恢復(fù) 435 調(diào)優(yōu)、排錯(cuò) 436 附件 43 DBA常用命令 437 Qamp。A 44 不支持觸發(fā)器 44 更新操作中的若干問題 441 體系結(jié)構(gòu)介紹 Greenplum數(shù)據(jù)庫(kù)產(chǎn)品——下一代數(shù)據(jù)倉(cāng)庫(kù)引擎和分析方法Greenplum公司是企業(yè)數(shù)據(jù)云計(jì)算解決方案的創(chuàng)始人，為客戶提供靈活的數(shù)據(jù)商業(yè)智能和分析方法。能夠以極低的成本代價(jià)，提供業(yè)界領(lǐng)先的計(jì)算性能?？蛻舯榧懊绹?guó)知名企業(yè)：Nasdaq、NYSE、Ebay、Fox Interactive Media……等。Greenplum公司的Greenplum數(shù)據(jù)庫(kù)產(chǎn)品是用于建造下一代數(shù)據(jù)倉(cāng)庫(kù)和巨大規(guī)模分析系統(tǒng)的軟件解決方案。支持SQL和MapReduce并行處理，更適合管理TB級(jí)～PB級(jí)的海量數(shù)據(jù)，并以極低的成本代價(jià)提供了業(yè)界領(lǐng)先的計(jì)算性能。使用獨(dú)有的sharingnothing MPP架構(gòu)，服務(wù)器的集群工作起來(lái)，就像是一個(gè)獨(dú)立的超級(jí)計(jì)算機(jī)！優(yōu)化了BI和分析方法，自動(dòng)化分區(qū)數(shù)據(jù)和并行查詢，比傳統(tǒng)數(shù)據(jù)庫(kù)執(zhí)行速度提高10倍～100倍！Greenplum數(shù)據(jù)庫(kù)的特色：216。 大規(guī)模地并行分析處理能力Greenplum數(shù)據(jù)庫(kù)可以跨越100～1000顆CPU，實(shí)現(xiàn)統(tǒng)一的并行操作引擎，讓處理過程盡可能地靠近數(shù)據(jù)。Greenplum是業(yè)界最快的和最普及的高端數(shù)據(jù)倉(cāng)庫(kù)解決方案！用傳統(tǒng)方式需花費(fèi)數(shù)天才能完成的復(fù)雜查詢，現(xiàn)在使用Greenplum只需要幾分鐘完成！216。 核心的MPP架構(gòu)Greenplum數(shù)據(jù)庫(kù)提供數(shù)據(jù)和查詢的自動(dòng)化并行：數(shù)據(jù)被自動(dòng)分區(qū)跨越集群中的所有節(jié)點(diǎn)；查詢以高度協(xié)作的方式，在集群的所有節(jié)點(diǎn)上執(zhí)行。216。 高速PB級(jí)數(shù)據(jù)裝載利用獨(dú)有的MPP Scatter/Gather Streaming技術(shù)，實(shí)現(xiàn)高速的數(shù)據(jù)裝載。每增加1個(gè)節(jié)點(diǎn)，每小時(shí)裝載吞吐量提高4TB！216。 數(shù)據(jù)庫(kù)內(nèi)部壓縮利用業(yè)界領(lǐng)先的壓縮技術(shù)提高性能和降低存儲(chǔ)空間。在有效較少1/3～1/10空間的同時(shí)，相應(yīng)地提高了I/O性能。216。 多級(jí)容錯(cuò)能力Greenplum數(shù)據(jù)庫(kù)利用多級(jí)冗余技術(shù)，在硬件或軟件故障時(shí)，保障操作可以繼續(xù)執(zhí)行。216。 在線系統(tǒng)擴(kuò)展為提高存儲(chǔ)容量、處理性能，增加新的服務(wù)器到集群中，擴(kuò)展的操作在后臺(tái)完成，數(shù)據(jù)庫(kù)可以繼續(xù)保持正常工作狀態(tài)不受影響。處理性能和存儲(chǔ)容量，隨服務(wù)器的個(gè)數(shù)增加成正比顯著提高！216。 自有的MapReduce技術(shù)MapReduce是Google和Yahoo的大規(guī)模數(shù)據(jù)分析方法。Greenplum使用獨(dú)有的并行引擎執(zhí)行MapReduce。Greenplum數(shù)據(jù)庫(kù)架構(gòu)原理解密：Greenplum數(shù)據(jù)庫(kù)通過分布負(fù)載到多個(gè)服務(wù)器主機(jī)，實(shí)現(xiàn)操作存儲(chǔ)和處理大規(guī)模的數(shù)據(jù)。數(shù)據(jù)庫(kù)實(shí)際上由1個(gè)Master服務(wù)器和若干個(gè)獨(dú)立的Segment服務(wù)器組成，一起協(xié)調(diào)工作，每個(gè)服務(wù)器都是獨(dú)立的PostgreSQL數(shù)據(jù)庫(kù)。如圖1所示，Master服務(wù)器是數(shù)據(jù)庫(kù)的入口，驗(yàn)證客戶端，處理輸入的SQL，分布工作到若干Segment服務(wù)器，統(tǒng)一協(xié)調(diào)各個(gè)Segment返回的結(jié)果，匯總最終結(jié)果返回客戶端。Master不存儲(chǔ)任何用戶數(shù)據(jù)，只有全局系統(tǒng)視圖。圖1：Greenplum數(shù)據(jù)庫(kù)架構(gòu) 如圖2所示，Segment服務(wù)器是真正數(shù)據(jù)存儲(chǔ)的地方，并承擔(dān)主要的查詢工作。用戶數(shù)據(jù)（表、索引）被分布存儲(chǔ)到有效的若干Segment，通過Hash算法，每個(gè)Segment存放數(shù)據(jù)的不同部分。圖2：Segment服務(wù)器真正存儲(chǔ)數(shù)據(jù)圖3展示了一套完整的Greenplum數(shù)據(jù)倉(cāng)庫(kù)實(shí)施架構(gòu)示例。獨(dú)立的Master服務(wù)器，通過千兆網(wǎng)絡(luò)連接在一起的若干Segment服務(wù)器，每個(gè)Segment服務(wù)器掛載獨(dú)立的RAID存儲(chǔ)。服務(wù)器基于X86－64位硬件平臺(tái)，安裝Linux操作系統(tǒng)，獲得極高的性價(jià)比。圖3：Greenplum數(shù)據(jù)庫(kù)完整實(shí)施架構(gòu)示例圖4記錄了一次完整的MPP并行查詢過程。Master作為查詢調(diào)度器，為客戶端提供連接工作；Segment獨(dú)立管理數(shù)據(jù)片和數(shù)據(jù)操作。調(diào)度過程如下：1．Master驗(yàn)證客戶端用戶。2．Master連接到所有遠(yuǎn)程Segment實(shí)例。3．Master解析SQL語(yǔ)句。4．Master建立1個(gè)優(yōu)化的并行查詢計(jì)劃。5．Master分布查詢計(jì)劃到所有的Segment實(shí)例。6．Master協(xié)調(diào)查詢計(jì)劃在所有Segment上并行執(zhí)行。7．Master收集所有Segment的查詢結(jié)果并返回到客戶端。圖4：一次查詢調(diào)度過程Greenplum獨(dú)有的Sharing－Nothing架構(gòu)：數(shù)據(jù)倉(cāng)庫(kù)在執(zhí)行全表掃描查詢時(shí)，通常速度被存儲(chǔ)的帶寬限制，即瓶頸大多集中在I/O。Greenplum的SharingNothing架構(gòu)物理分離數(shù)據(jù)，存儲(chǔ)到若干Segment服務(wù)器，每個(gè)Segment使用多個(gè)、專用的、獨(dú)立的、高速的通道獨(dú)立連接到磁盤，并把管理數(shù)據(jù)庫(kù)資源：buffer、lock、block的職責(zé)委派到各個(gè)Segment，不使用Master統(tǒng)一管理資源！從圖5中可以看出與SharingEverything架構(gòu)（如Oracle RAC）對(duì)比，存在2個(gè)明顯區(qū)別：SegmentnSegment2Segment1圖5：sharingeverying對(duì)比sharingnothing數(shù)據(jù)庫(kù)架構(gòu)1） 數(shù)據(jù)庫(kù)物理存儲(chǔ)方式不同：在RAC環(huán)境下，數(shù)據(jù)庫(kù)集中存儲(chǔ)，集群中的所有節(jié)點(diǎn)共享I/O通道訪問數(shù)據(jù)，隨著TB級(jí)別海量數(shù)據(jù)的增加，I/O瓶頸可想而知。2） 集群節(jié)點(diǎn)間內(nèi)部通信管理方式不同：如圖6，RAC使用GRD（Global Resource Directory）統(tǒng)一管理數(shù)據(jù)庫(kù)資源，管理內(nèi)部節(jié)點(diǎn)間通信。用戶對(duì)每個(gè)block的訪問，都要經(jīng)過GRD的協(xié)調(diào)調(diào)度，極其繁瑣且需要額外的進(jìn)程通信負(fù)擔(dān)；隨著節(jié)點(diǎn)個(gè)數(shù)的增加，GRD會(huì)增加管理的復(fù)雜度，可能會(huì)導(dǎo)致產(chǎn)生性能問題！圖6：Oracle RAC的GRD架構(gòu)2 安裝 安裝 安裝準(zhǔn)備VMware Workstation os的配置以root用戶操作 檢查系統(tǒng)條件檢查系統(tǒng)名稱,版本,內(nèi)核. uname a檢查磁盤空間 df h 設(shè)置主機(jī)名vi /etc/sysconfig/network HOSTNAME=*single* (*變量*,以后出現(xiàn)*string*,均指變量) 設(shè)置集群各個(gè)機(jī)器ip與主機(jī)的對(duì)應(yīng)表vi /etc/hosts single localhost配置運(yùn)行參數(shù)： vi /etc/: = 250 64000 100 512 = 500000000（最大共享內(nèi)存） = 4096 = 4000000000（共享內(nèi)存總量） = 250 64000 100 512 = 1 = 1 = 65536 = 65536 = 1 = 0 = 0 =1 =4096 = 1 =10000 =2 vi /etc/security/ 添加修改 * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 關(guān)閉iptables[root@localhost ~] service iptables stopiptables：清除防火墻規(guī)則： [確定]iptables：將鏈設(shè)置為政策 ACCEPT：filter [確定]iptables：正在卸載模塊： [確定][root@localhost ~] chkconfig iptables off[root@localhost ~] service ip6tables stopip6tables：清除防火墻規(guī)則： [確定]ip6tables：將 chains 設(shè)置為 ACCEPT 策略：filter [確定]：正在卸載模塊： [確定][root@localhost ~] chkconfig ip6tables off 安裝gpdb創(chuàng)建gpadmin用戶 useradd gpadmin passwd gpadmin New password: gpadmin Retype new password: gpadmin 解壓zip包例如:把安裝包c(diǎn)opy到/home/gpadmin目錄下su gpadmincd /home/gpadminunzip 執(zhí)行安裝文件./ 安裝過程比較容易，但是注意要修改一下安裝路徑為/home/gpadmin/ 下圖打印了安裝時(shí)的情況： 出現(xiàn)如下提示:********************************************************************************Do you accept the Greenplum Database license agreement? [yes|no]********************************************************************************yes********************************************************************************Provide the installation path for Greenplum Database or press ENTER to accept the default installation path: /home/********************************************************************************/home/gpadmin/********************************************************************************Install Greenplum Database into /home/gpadmin/? [yes|no]********************************************************************************yes********************************************************************************/home/gpadmin/ does not exist.Create /home/gpadmin/ ? [yes|no](Selecting no will exit the installer)********************************************************************************yes********************************************************************************[Optional] Provide the path to a previous installation of Greenplum Database,or press ENTER to skip this step. . /home/This installation step will migrate any Greenplum Database extensions from theprovided path to the version currently being installed. This step is optional and can be run later with: gppkg migrate path_to_old_gphome /home/gpadmin/********************************************************************************Extracting