【正文】 完成的復雜查詢，現(xiàn)在使用Greenplum只需要幾分鐘完成！216。使用獨有的sharingnothing MPP架構，服務器的集群工作起來，就像是一個獨立的超級計算機！優(yōu)化了BI和分析方法，自動化分區(qū)數(shù)據(jù)和并行查詢，比傳統(tǒng)數(shù)據(jù)庫執(zhí)行速度提高10倍～100倍！Greenplum數(shù)據(jù)庫的特色：216。Greenplum公司的Greenplum數(shù)據(jù)庫產(chǎn)品是用于建造下一代數(shù)據(jù)倉庫和巨大規(guī)模分析系統(tǒng)的軟件解決方案。能夠以極低的成本代價，提供業(yè)界領先的計算性能。GreenPlum數(shù)據(jù)庫集群安裝說明及使用手冊開心十二月總結****年**月**日目 錄1 體系結構介紹 42 安裝 10 安裝 10 安裝準備 10 安裝gpdb 11 配置通訊 13 建立數(shù)據(jù)存儲池 17 同步系統(tǒng)時間 17 驗證安裝是否成功 17 初始化 17 數(shù)據(jù)庫的啟停 18 Master雙機熱備 19 Segment節(jié)點互備 203 GP數(shù)據(jù)庫的使用 22 pgAdminIII工具 22 安裝和第一次使用pgAdminIII 22 主窗體 23 導航菜單 23 工具欄介紹 24 數(shù)據(jù)庫與表的創(chuàng)建 25 使用pgAdminIII備份數(shù)據(jù)庫 25 JDBC配置 26 GP數(shù)據(jù)庫兩個重要概念 27 什么是Schema 27 數(shù)據(jù)分布存儲 28 GP的SQL語法 28 數(shù)據(jù)加載 28 SQL并行查詢 31 聚合函數(shù) 31 索引 31 分區(qū) 32 函數(shù) 344 維護數(shù)據(jù)庫 38 數(shù)據(jù)庫啟動 gpstart 38 數(shù)據(jù)庫停止 gpstop 40 查看實例配置和狀態(tài) 40 查看數(shù)據(jù)庫運行狀態(tài) gpstate 40 查看用戶會話和提交的查詢等信息 42 查看數(shù)據(jù)庫、表占用空間 42 查看數(shù)據(jù)分布情況 42 實例恢復 gprecoverseg 42 查看鎖信息 43 數(shù)據(jù)庫的備份與恢復 435 調優(yōu)、排錯 436 附件 43 DBA常用命令 437 Qamp。A 44 不支持觸發(fā)器 44 更新操作中的若干問題 441 體系結構介紹 Greenplum數(shù)據(jù)庫產(chǎn)品——下一代數(shù)據(jù)倉庫引擎和分析方法Greenplum公司是企業(yè)數(shù)據(jù)云計算解決方案的創(chuàng)始人，為客戶提供靈活的數(shù)據(jù)商業(yè)智能和分析方法?？蛻舯榧懊绹髽I(yè)：Nasdaq、NYSE、Ebay、Fox Interactive Media……等。支持SQL和MapReduce并行處理，更適合管理TB級～PB級的海量數(shù)據(jù)，并以極低的成本代價提供了業(yè)界領先的計算性能。 大規(guī)模地并行分析處理能力Greenplum數(shù)據(jù)庫可以跨越100～1000顆CPU，實現(xiàn)統(tǒng)一的并行操作引擎，讓處理過程盡可能地靠近數(shù)據(jù)。 核心的MPP架構Greenplum數(shù)據(jù)庫提供數(shù)據(jù)和查詢的自動化并行：數(shù)據(jù)被自動分區(qū)跨越集群中的所有節(jié)點；查詢以高度協(xié)作的方式，在集群的所有節(jié)點上執(zhí)行。 高速PB級數(shù)據(jù)裝載利用獨有的MPP Scatter/Gather Streaming技術，實現(xiàn)高速的數(shù)據(jù)裝載。 數(shù)據(jù)庫內部壓縮利用業(yè)界領先的壓縮技術提高性能和降低存儲空間。216。216。處理性能和存儲容量，隨服務器的個數(shù)增加成正比顯著提高！216。Greenplum使用獨有的并行引擎執(zhí)行MapReduce。數(shù)據(jù)庫實際上由1個Master服務器和若干個獨立的Segment服務器組成，一起協(xié)調工作，每個服務器都是獨立的PostgreSQL數(shù)據(jù)庫。Master不存儲任何用戶數(shù)據(jù)，只有全局系統(tǒng)視圖。用戶數(shù)據(jù)（表、索引）被分布存儲到有效的若干Segment，通過Hash算法，每個Segment存放數(shù)據(jù)的不同部分。獨立的Master服務器，通過千兆網(wǎng)絡連接在一起的若干Segment服務器，每個Segment服務器掛載獨立的RAID存儲。圖3：Greenplum數(shù)據(jù)庫完整實施架構示例圖4記錄了一次完整的MPP并行查詢過程。調度過程如下：1．Master驗證客戶端用戶。3．Master解析SQL語句。5．Master分布查詢計劃到所有的Segment實例。7．Master收集所有Segment的查詢結果并返回到客戶端。Greenplum的SharingNothing架構物理分離數(shù)據(jù)，存儲到若干Segment服務器，每個Segment使用多個、專用的、獨立的、高速的通道獨立連接到磁盤，并把管理數(shù)據(jù)庫資源：buffer、lock、block的職責委派到各個Segment，不使用Master統(tǒng)一管理資源！從圖5中可以看出與SharingEverything架構（如Oracle RAC）對比，存在2個明顯區(qū)別：SegmentnSegment2Segment1圖5：sharingeverying對比sharingnothing數(shù)據(jù)庫架構1） 數(shù)據(jù)庫物理存儲方式不同：在RAC環(huán)境下，數(shù)據(jù)庫集中存儲，集群中的所有節(jié)點共享I/O通道訪問數(shù)據(jù)，隨著TB級別海量數(shù)據(jù)的增加，I/O瓶頸可想而知。用戶對每個block的訪問，都要經(jīng)過GRD的協(xié)調調度，極其繁瑣且需要額外的進程通信負擔；隨著節(jié)點個數(shù)的增加，GRD會增加管理的復雜度，可能會導致產(chǎn)生性能問題！圖6：Oracle RAC的GRD架構2 安裝 安裝 安裝準備VMware Workstation os的配置以root用戶操作 檢查系統(tǒng)條件檢查系統(tǒng)名稱,版本,內核. uname a檢查磁盤空間 df h 設置主機名vi /etc/sysconfig/network HOSTNAME=*single* (*變量*,以后出現(xiàn)*string*,均指變量) 設置集群各個機器ip與主機的對應表vi /etc/hosts single localhost配置運行參數(shù)： vi /etc/: = 250 64000 100 512 = 500000000（最大共享內存） = 4096 = 4000000000（共享內存總量） = 250 64000 100 512 = 1 = 1 = 65536 = 65536 = 1 = 0 = 0 =1 =4096 = 1 =10000 =2 vi /etc/security/ 添加修改 * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 關閉iptables[rootlocalhost ~] service iptables stopiptables：清除防火墻規(guī)則： [確定]iptables：將鏈設置為政策 ACCEPT：filter [確定]iptables：正在卸載模塊： [確定][rootlocalhost ~] chkconfig iptables off[rootlocalhost ~] service ip6tables stopip6tables：清除防火墻規(guī)則： [確定]ip6tables：將 chains 設置為 ACCEPT 策略：filter [確定]：正在卸載模塊： [確定][rootlocalhost ~] chkconfig ip6tables off 安裝gpdb創(chuàng)建gpadmin用戶 useradd gpadmin passwd gpadmin New password: gpadmin Retype new password: gpadmin 解壓zip包例如:把安裝包copy到/home/gpadmin目錄下su gpadmincd /home/gpadminunzip 執(zhí)行安裝文件./ 安裝過程比較容易，但是注意要修改一下安裝路徑為/home/gpadmin/ 下圖打印了安裝時的情況： 出現(xiàn)如下提示:********************************************************************************Do you accept the Greenplum Database license agreement? [yes|no]********************************************************************************yes********************************************************************************Provide the installation path for Greenplum Database or press ENTER to accept the default installation path: /home/********************************************************************************/home/gpadmin/********************************************************************************Install Greenplum Database into /home/gpadmin/? [yes|no]********************************************************************************yes********************************************************************************/home/gpadmin/ does not exist.Create /home/gpadmin/ ? [yes|no](Selecting no will exit the installer)********************************************************************************yes********************************************************************************[Optional] Provide the path to a previous installation of Greenplum Database,or press ENTER to skip this step. . /home/This installation step will migrate any Greenplum Database extensions from theprovided path to the version currently being installed. This step is optional and can be run later with: gppkg migrate path_to_old_gphome /home/gpadmin/********************************************************************************Extracting product to /home/gpadmin/Extracting product to /home/gpadmin/Skipping migration of Greenplum Database extensions...********************************************************************************Installation plete.Greenplum Database is installed in /home/gpadmin/Greenplum Database documentation is available for downloadat .********************************************************************************安裝成功! 配置通訊登錄master機器 source /home/gpadmin/greenplumdb/ 編輯一個主機列表 列表為主機名.cd /h