【正文】 指定連接目標(biāo)數(shù)據(jù)庫(kù)的用戶(hù)名，如果不使用超級(jí)管理員，服務(wù)參數(shù)gp_external_grant_privileges必須設(shè)置成on。 指定連接數(shù)據(jù)庫(kù)的名字，如果沒(méi)有指定,由環(huán)境變量$PGDATABASE，或者通過(guò)gpload參數(shù)d指定USER: db_username 指定控制文件schema的版本DATABASE: db_name因此它必須得是有效的YAML格式。gpload也是通過(guò)它的控制文件指定裝載的細(xì)節(jié)信息。1 啟動(dòng)裝載服務(wù)（集成到gp環(huán)境里了）：gpfdist d /home/gpadmin/input p 8088 l /home/gpadmin/ amp。LOG ERRORS INTO ext_ips_sip_org_t_err SEGMENT REJECT LIMIT 1000000000 ROWS。) encoding 39。 (DELIMITER 39。) FORMAT 39。 數(shù)據(jù)分布存儲(chǔ) GP的SQL語(yǔ)法 數(shù)據(jù)加載 利用gpfdist載入數(shù)據(jù)1 建立數(shù)據(jù)存放目錄mkdir /home/gpadmin/input把數(shù)據(jù)放進(jìn)來(lái)2 建立外部表例如：CREATE external TABLE ext_ips_sip_t_new (f_time varchar(50),f_protocols varchar(30),f_len numeric(20),f_method varchar(30),f_to_user varchar(30),f_to_host varchar(30),f_to_port varchar(10),f_from_user varchar(30),f_from_host varchar(30),f_from_port varchar(10),f_call_id varchar(100),f_cseq_seq varchar(30),f_cseq_method varchar(20),f_status_code varchar(10),f_tag varchar(100))LOCATION (39。 JDBC配置應(yīng)用程序如果需要使用JDBC連接GP數(shù)據(jù)庫(kù)，請(qǐng)參看如下配置文件： ConfigParam ParamIDconnectDriver/ParamID ParamValue/ParamValue ParamDesc連接驅(qū)動(dòng)/ParamDesc /ConfigParam ConfigParam ParamIDconnectURL/ParamID ParamValuejdbc:postgresql://ip:port/database_name/ParamValue ParamDesc連接URL/ParamDesc /ConfigParam ConfigParam ParamIDconnectUsername/ParamID ParamValuedpi_support/ParamValue ParamDesc用戶(hù)名/ParamDesc /ConfigParam ConfigParam ParamIDconnectPassword/ParamID ParamValuedpi_support/ParamValue ParamDesc密碼/ParamDesc /ConfigParam根據(jù)應(yīng)用程序的實(shí)際情況修改ip地址、端口號(hào)、數(shù)據(jù)庫(kù)名以及用戶(hù)名和密碼， GP數(shù)據(jù)庫(kù)兩個(gè)重要概念 什么是Schema模式，也就是Schema，是數(shù)據(jù)庫(kù)中一組對(duì)象的集合，里面包含了各種對(duì)象如tables, views, sequences, stored procedures, synonyms, indexes, clusters, and database links。然而恢復(fù)時(shí)只有press和tar的文件能夠恢復(fù)。下部分全是數(shù)據(jù)。上面有幾行是亂碼，下部分都是數(shù)據(jù)，格式看上去不太整齊。用pgAdmin可以把數(shù)據(jù)庫(kù)備份成三種格式，press，tar，plain。建議建表的時(shí)候表名和字段名全部小寫(xiě)，因?yàn)镚P是區(qū)分大寫(xiě)小寫(xiě)的。 數(shù)據(jù)庫(kù)與表的創(chuàng)建在左側(cè)導(dǎo)航欄里右鍵選擇”新建數(shù)據(jù)庫(kù)”。圖標(biāo)8．輸入條件對(duì)所選對(duì)象的數(shù)據(jù)進(jìn)行過(guò)濾。圖標(biāo)7．查看所選對(duì)象數(shù)據(jù)。圖標(biāo)5．刪除當(dāng)前所選擇的對(duì)象?？梢圆榭磶椭臋n 工具欄介紹 1 2 3 4 5 6 7 8 9 10 11圖標(biāo)1．新建立一個(gè)服務(wù)器圖標(biāo)2．刷新所選擇對(duì)象（所選對(duì)象右鍵刷新也可以實(shí)現(xiàn)）圖標(biāo)3．顯示所選對(duì)象屬性（所選對(duì)象右鍵刷新也可以實(shí)現(xiàn)）圖標(biāo)4．創(chuàng)建和選取對(duì)象同類(lèi)型的對(duì)象。在主窗體左面的對(duì)象樹(shù)中點(diǎn)擊不同的節(jié)點(diǎn)　工具中菜單的高亮顯示可做相應(yīng)的操作。（右鍵所選對(duì)象相當(dāng)于編輯中所有相關(guān)功能）用來(lái)調(diào)節(jié)頁(yè)面視圖的顯示。 導(dǎo)航菜單1） 文件選項(xiàng)卡：文件選項(xiàng)卡中可以修改密碼，新建一個(gè)連接點(diǎn)擊“選項(xiàng)”按鈕之后，會(huì)出現(xiàn)一個(gè)多層的選項(xiàng)卡，在這里可以設(shè)置你的pgAdminIII。右上方顯示，目前在樹(shù)中選定的對(duì)象的詳細(xì)信息。 主窗體在主窗口中，顯示數(shù)據(jù)庫(kù)的結(jié)構(gòu)。第一次使用pgAdmin工具時(shí)，會(huì)出現(xiàn)連接服務(wù)器的對(duì)話框，填寫(xiě)：連接名稱(chēng)、主機(jī)IP、端口(默認(rèn)是5432)、用戶(hù)名和密碼。所以需要DBA調(diào)用命令gpstate m判斷恢復(fù)操作完成的進(jìn)度情況。這需要在master上調(diào)用命令$ gprecoverseg 進(jìn)行。還有就是存儲(chǔ)問(wèn)題，比如控制器故障等等。還可以通過(guò)gpstate c看到primary與mirror之間的映射關(guān)系。d39。 檢查是否有segment down掉，可以在master上執(zhí)行g(shù)pstate，如果看到類(lèi)似這樣的內(nèi)容[WARN]:Total primary segment failures (at master) = 1 ，說(shuō)明有primary segment down掉了。 由于mirror segment可以自動(dòng)failover，因此當(dāng)primary segment出現(xiàn)故障時(shí)，管理員可能無(wú)法及時(shí)察覺(jué)。因?yàn)镚REENPLUM目前只能添加鏡像，不能刪除鏡像。 $ gpaddmirrors i mirror_config_file這時(shí)系統(tǒng)會(huì)根據(jù)配置文件設(shè)置，復(fù)制鏡像，并對(duì)鏡像進(jìn)行同步，提供保護(hù)。比如自動(dòng)生成添加mirror的構(gòu)造文件 $ gpaddmirrors o filename文本編輯器打開(kāi)該構(gòu)造文件，可以看到其格式如下mirror[content]=content:hostname:addressort:mir_replication_portri_replication_port:datadir_location默認(rèn)配置是原有的主機(jī)間互為鏡像，我們也可以添加新的主機(jī)作為鏡像使用，從而減少鏡像對(duì)性能的影響。首先要獲取添加鏡像的構(gòu)造文件。如果主機(jī)的數(shù)量多于segment的數(shù)量，可以使用S選項(xiàng)，指定使用哪些主機(jī)作為鏡像用。取值范圍1到65535 MIRROR_DATA_DIRECTORY 指定了mirror segment的數(shù)據(jù)目錄，聲明的目錄數(shù)量必須與primary segment的目錄數(shù)量一致，而且要保證進(jìn)行初始化操作的os用戶(hù)對(duì)這些目錄有讀寫(xiě)權(quán)限。取值范圍1到65535 MIRROR_REPLICATION_PORT_BASE 指定第一個(gè)mirror segment用于數(shù)據(jù)復(fù)制的端口號(hào)，其它mirror segment以此為基礎(chǔ)，每次加1,計(jì)算復(fù)制用端口號(hào)。 REPLICATION_PORT_BASE 指定第一個(gè)primary segment用于數(shù)據(jù)復(fù)制的端口號(hào)，其它primary segment以此為基礎(chǔ)，每次加1,計(jì)算復(fù)制用端口號(hào)。 啟用segment鏡像，既可以在初始化系統(tǒng)時(shí)進(jìn)行，也可以為存在的系統(tǒng)添加mirror。只有管理員對(duì)其進(jìn)行恢復(fù)后，才會(huì)改變狀態(tài)。ftsprobe的檢測(cè)間隔是通過(guò)global服務(wù)參數(shù)gp_fts_probe_interval進(jìn)行定義的，默認(rèn)值是1分鐘，通常這個(gè)參數(shù)的設(shè)置應(yīng)該與參數(shù)gp_segment_connect_timeout保持一致。一旦primary segment出現(xiàn)故障，mirror segment的復(fù)制進(jìn)程停止，并啟動(dòng)instance，保證數(shù)據(jù)庫(kù)的操作繼續(xù)。正常情況下，只有primary segment的instance處于工作狀態(tài)，所有primary segment上的變化通過(guò)文件塊的復(fù)制技術(shù)拷貝到mirror segment。完成問(wèn)題的糾正后，通過(guò)調(diào)用gpinitstandby可以重新同步standby master。如果沒(méi)有在激活時(shí)，添加新的standby master，事后也可以通過(guò)gpinitstandby的調(diào)用添加新的standby master. 在系統(tǒng)工作的過(guò)程中，standby master節(jié)點(diǎn)也可能出現(xiàn)數(shù)據(jù)同步故障，比如網(wǎng)絡(luò)問(wèn)題，導(dǎo)致gpsyncagent出現(xiàn)同步故障，用戶(hù)可能無(wú)法及時(shí)感知。ANALYZE。 Master instance = Active Master instance standby = Passive在完成,新primary master激活之后，應(yīng)該在其上運(yùn)行analyze命令。如果在激活的時(shí)候，想配置一個(gè)新的standby master可以通過(guò)c選項(xiàng)實(shí)現(xiàn)。比如gpinitstandby s vcentos626466如果遇到primary standby出現(xiàn)故障，由于到目前為止,EMC還沒(méi)有提供自己的cluster，因此,如果不使用第三方的cluster的情況下，DBA需要手工激活standby master進(jìn)行master failover，這個(gè)過(guò)程通過(guò)調(diào)用gpactivatestandby命令實(shí)現(xiàn) $ gpactivatestandby d /gpdata/gpdata應(yīng)該是standby master的數(shù)據(jù)目錄。也可以使用gpinitstandby工具去添加standby master。無(wú)論哪種方式，首先要準(zhǔn)備standby的主機(jī)，包括操作系統(tǒng)，用戶(hù)等效性的建立，以及GP軟件的安裝。standby master所在主機(jī)除了復(fù)制進(jìn)程外，沒(méi)有正式master服務(wù)運(yùn)行。正常情況下只有primary master接受用戶(hù)連接請(qǐng)求，standby master通過(guò)gpsyncagent進(jìn)程（運(yùn)行在standby master上）利用事務(wù)日志保持與primary master的同步。 如果有連接沒(méi)有斷開(kāi)，想強(qiáng)行關(guān)閉服務(wù)使用gpstop M fast (注意選項(xiàng)的大小寫(xiě)） 如果要重啟系統(tǒng)，可以使用gpstop u 注：數(shù)據(jù)庫(kù)的啟停和查看數(shù)據(jù)庫(kù)狀態(tài)的操作都是在master上進(jìn)行的，不需要?jiǎng)觭egment節(jié)點(diǎn)。 gpstate s 查看細(xì)節(jié)。 在啟動(dòng)服務(wù)后，通過(guò)ps ef|grep postgre*可以看到相關(guān)的服務(wù)進(jìn)程。 如果使用gpstart a 則系統(tǒng)無(wú)任何提示，進(jìn)行啟動(dòng)。*39。echo password | passwd gpadmin stdin39。/usr/sbin/useradd gpadmin d /home/gpadmin s /bin/bash39。2） 集群節(jié)點(diǎn)間內(nèi)部通信管理方式不同：如圖6，RAC使用GRD（Global Resource Directory）統(tǒng)一管理數(shù)據(jù)庫(kù)資源，管理內(nèi)部節(jié)點(diǎn)間通信。圖4：一次查詢(xún)調(diào)度過(guò)程Greenplum獨(dú)有的Sharing－Nothing架構(gòu)：數(shù)據(jù)倉(cāng)庫(kù)在執(zhí)行全表掃描查詢(xún)時(shí)，通常速度被存儲(chǔ)的帶寬限制，即瓶頸大多集中在I/O。6．Master協(xié)調(diào)查詢(xún)計(jì)劃在所有Segment上并行執(zhí)行。4．Master建立1個(gè)優(yōu)化的并行查詢(xún)計(jì)劃。2．Master連接到所有遠(yuǎn)程Segment實(shí)例。Master作為查詢(xún)調(diào)度器，為客戶(hù)端提供連接工作；Segment獨(dú)立管理數(shù)據(jù)片和數(shù)據(jù)操作。服務(wù)器基于X86－64位硬件平臺(tái)，安裝Linux操作系統(tǒng)，獲得極高的性?xún)r(jià)比。圖2：Segment服務(wù)器真正存儲(chǔ)數(shù)據(jù)圖3展示了一套完整的Greenplum數(shù)據(jù)倉(cāng)庫(kù)實(shí)施架構(gòu)示例。圖1：Greenplum數(shù)據(jù)庫(kù)架構(gòu) 如圖2所示，Segment服務(wù)器是真正數(shù)據(jù)存儲(chǔ)的地方，并承擔(dān)主要的查詢(xún)工作。如圖1所示，Master服務(wù)器是數(shù)據(jù)庫(kù)的入口，驗(yàn)證客戶(hù)端，處理輸入的SQL，分布工作到若干Segment服務(wù)器，統(tǒng)一協(xié)調(diào)各個(gè)Segment返回的結(jié)果，匯總最終結(jié)果返回客戶(hù)端。Greenplum數(shù)據(jù)庫(kù)架構(gòu)原理解密：Greenplum數(shù)據(jù)庫(kù)通過(guò)分布負(fù)載到多個(gè)服務(wù)器主機(jī)，實(shí)現(xiàn)操作存儲(chǔ)和處理大規(guī)模的數(shù)據(jù)。 自有的MapReduce技術(shù)MapReduce是Google和Yahoo的大規(guī)模數(shù)據(jù)分析方法。 在線系統(tǒng)擴(kuò)展為提高存儲(chǔ)容量、處理性能，增加新的服務(wù)器到集群中，擴(kuò)展的操作在后臺(tái)完成，數(shù)據(jù)庫(kù)可以繼續(xù)保持正常工作狀態(tài)不受影響。 多級(jí)容錯(cuò)能力Greenplum數(shù)據(jù)庫(kù)利用多級(jí)冗余技術(shù)，在硬件或軟件故障時(shí)，保障操作可以繼續(xù)執(zhí)行。在有效較少1/3～1/10空間的同時(shí)，相應(yīng)地提高了I/O性能。每增加1個(gè)節(jié)點(diǎn)，每小時(shí)裝載吞吐量提高4TB！216。216。Greenplum是業(yè)界最快的和最普及的高端數(shù)據(jù)倉(cāng)庫(kù)解決方案！用傳統(tǒng)方式需花費(fèi)數(shù)天才能