【文章內(nèi)容簡(jiǎn)介】 gment instance。一旦primary segment出現(xiàn)故障，mirror segment的復(fù)制進(jìn)程停止，并啟動(dòng)instance，保證數(shù)據(jù)庫(kù)的操作繼續(xù)。 segment的故障檢測(cè)是通過(guò)后臺(tái)進(jìn)程ftsprobe實(shí)現(xiàn)的，并可以進(jìn)行自動(dòng)容錯(cuò)，不需要DBA進(jìn)行干預(yù)。ftsprobe的檢測(cè)間隔是通過(guò)global服務(wù)參數(shù)gp_fts_probe_interval進(jìn)行定義的，默認(rèn)值是1分鐘，通常這個(gè)參數(shù)的設(shè)置應(yīng)該與參數(shù)gp_segment_connect_timeout保持一致。一旦ftsprobe進(jìn)程發(fā)現(xiàn)primary segment出現(xiàn)故障，它會(huì)在數(shù)據(jù)字典中標(biāo)記該segment已經(jīng)停止。只有管理員對(duì)其進(jìn)行恢復(fù)后，才會(huì)改變狀態(tài)。 如果系統(tǒng)沒(méi)有進(jìn)行segment級(jí)別的鏡像，當(dāng)出現(xiàn)segment故障后，整個(gè)系統(tǒng)都將脫機(jī)，直到恢復(fù)故障segment后，才可以重新啟動(dòng)。 啟用segment鏡像，既可以在初始化系統(tǒng)時(shí)進(jìn)行，也可以為存在的系統(tǒng)添加mirror。 如果在初始化系統(tǒng)是要求添加鏡像，需要在初始化配置文件中添加如下參數(shù) MIRROR_PORT_BASE 指定第一個(gè)mirror segment的端口號(hào)，其它mirror segment在此基礎(chǔ)上加1，它的設(shè)置范圍是1到65535，但是設(shè)置時(shí)要注意不能與primary segment沖突。 REPLICATION_PORT_BASE 指定第一個(gè)primary segment用于數(shù)據(jù)復(fù)制的端口號(hào)，其它primary segment以此為基礎(chǔ)，每次加1,計(jì)算復(fù)制用端口號(hào)。它的設(shè)置也不要與primary segment沖突。取值范圍1到65535 MIRROR_REPLICATION_PORT_BASE 指定第一個(gè)mirror segment用于數(shù)據(jù)復(fù)制的端口號(hào)，其它mirror segment以此為基礎(chǔ)，每次加1,計(jì)算復(fù)制用端口號(hào)。它的設(shè)置也不要與mirror segment沖突。取值范圍1到65535 MIRROR_DATA_DIRECTORY 指定了mirror segment的數(shù)據(jù)目錄，聲明的目錄數(shù)量必須與primary segment的目錄數(shù)量一致，而且要保證進(jìn)行初始化操作的os用戶對(duì)這些目錄有讀寫(xiě)權(quán)限。 然后調(diào)用gpinitsystem進(jìn)行初始化，默認(rèn)是使陣列中的主機(jī)相互存放對(duì)方的鏡像。如果主機(jī)的數(shù)量多于segment的數(shù)量，可以使用S選項(xiàng)，指定使用哪些主機(jī)作為鏡像用。 如果原有系統(tǒng)沒(méi)有鏡像，我們也可以向存在的系統(tǒng)添加鏡像。首先要獲取添加鏡像的構(gòu)造文件。這個(gè)文件可以自己編輯，也可以通過(guò)gpaddmirrors自動(dòng)生成，然后在此基礎(chǔ)上根據(jù)需要進(jìn)行修改。比如自動(dòng)生成添加mirror的構(gòu)造文件 $ gpaddmirrors o filename文本編輯器打開(kāi)該構(gòu)造文件，可以看到其格式如下mirror[content]=content:hostname:addressort:mir_replication_portri_replication_port:datadir_location默認(rèn)配置是原有的主機(jī)間互為鏡像，我們也可以添加新的主機(jī)作為鏡像使用，從而減少鏡像對(duì)性能的影響。 在得到mirror構(gòu)造文件后，可以用命令啟用鏡像。 $ gpaddmirrors i mirror_config_file這時(shí)系統(tǒng)會(huì)根據(jù)配置文件設(shè)置，復(fù)制鏡像，并對(duì)鏡像進(jìn)行同步，提供保護(hù)。需要注意的是，在添加鏡像前應(yīng)該先備份數(shù)據(jù)庫(kù)，防止鏡像添加失?。ū热缇W(wǎng)路配置問(wèn)題，內(nèi)核參數(shù)設(shè)置不正確可能導(dǎo)致添加鏡像失?。Ｒ?yàn)镚REENPLUM目前只能添加鏡像，不能刪除鏡像。如果添加鏡像失敗會(huì)導(dǎo)致系統(tǒng)處于不正常狀態(tài)。 由于mirror segment可以自動(dòng)failover，因此當(dāng)primary segment出現(xiàn)故障時(shí)，管理員可能無(wú)法及時(shí)察覺(jué)。所以一方面管理員應(yīng)該對(duì)系統(tǒng)定期檢查，另外一方面如果系統(tǒng)性能大幅下降（理論上，如果采用互為鏡像方式，當(dāng)一個(gè)主機(jī)出現(xiàn)故障時(shí)，整個(gè)系統(tǒng)性能下降一半）管理員也應(yīng)該進(jìn)行系統(tǒng)檢查，判斷是否有segment已經(jīng)down掉了。 檢查是否有segment down掉，可以在master上執(zhí)行g(shù)pstate，如果看到類(lèi)似這樣的內(nèi)容[WARN]:Total primary segment failures (at master) = 1 ，說(shuō)明有primary segment down掉了。進(jìn)一步檢查故障segment，可以用SQL SELECT * FROM gp_segment_configuration WHERE status=39。d39。獲取細(xì)節(jié)信息，請(qǐng)注意故障段的主機(jī)，端口號(hào)，首選身份，以及目錄這樣的信息，可以在troubleshooting的過(guò)程中提供幫助。還可以通過(guò)gpstate c看到primary與mirror之間的映射關(guān)系。 一般來(lái)說(shuō)，造成segment故障的原因主要就是三大類(lèi)，一類(lèi)是segment主機(jī)由于硬件問(wèn)題或者網(wǎng)絡(luò)問(wèn)題無(wú)法訪問(wèn)，一類(lèi)是segment的相關(guān)進(jìn)程出現(xiàn)故障，比如被kill掉了。還有就是存儲(chǔ)問(wèn)題，比如控制器故障等等。在這些問(wèn)題被解決之后，系統(tǒng)不會(huì)自動(dòng)恢復(fù)故障segment，必須由DBA手工進(jìn)行恢復(fù)。這需要在master上調(diào)用命令$ gprecoverseg 進(jìn)行。它從故障之后產(chǎn)生的變化開(kāi)始捕獲，整個(gè)操作會(huì)在后臺(tái)進(jìn)行。所以需要DBA調(diào)用命令gpstate m判斷恢復(fù)操作完成的進(jìn)度情況。 3 GP數(shù)據(jù)庫(kù)的使用 pgAdminIII工具這里選用pgAdmin III . 安裝和第一次使用pgAdminIII,解壓之后會(huì)出現(xiàn)三個(gè)文件，執(zhí)行該文件，桌面出現(xiàn)之后雙擊即可使用。第一次使用pgAdmin工具時(shí)，會(huì)出現(xiàn)連接服務(wù)器的對(duì)話框，填寫(xiě)：連接名稱(chēng)、主機(jī)IP、端口(默認(rèn)是5432)、用戶名和密碼。其他參數(shù)一般不用修改。 主窗體在主窗口中，顯示數(shù)據(jù)庫(kù)的結(jié)構(gòu)。您可以創(chuàng)建新的對(duì)象，刪除和編輯現(xiàn)有的對(duì)象，如果你使用的是當(dāng)前連接到數(shù)據(jù)庫(kù)用戶的權(quán)限，在主窗口的左側(cè)顯示所有服務(wù)器，以及它們所包含的對(duì)象樹(shù)。右上方顯示，目前在樹(shù)中選定的對(duì)象的詳細(xì)信息。右下方包含一個(gè)SQL腳本。 導(dǎo)航菜單1） 文件選項(xiàng)卡：文件選項(xiàng)卡中可以修改密碼，新建一個(gè)連接點(diǎn)擊“選項(xiàng)”按鈕之后，會(huì)出現(xiàn)一個(gè)多層的選項(xiàng)卡，在這里可以設(shè)置你的pgAdminIII。 點(diǎn)擊編輯菜單可以對(duì)數(shù)據(jù)庫(kù)和對(duì)象做相應(yīng)的操作。（右鍵所選對(duì)象相當(dāng)于編輯中所有相關(guān)功能）用來(lái)調(diào)節(jié)頁(yè)面視圖的顯示。例如：打開(kāi)與關(guān)閉ＳＱＬ窗口。在主窗體左面的對(duì)象樹(shù)中點(diǎn)擊不同的節(jié)點(diǎn)　工具中菜單的高亮顯示可做相應(yīng)的操作。（所選對(duì)象右鍵操作可達(dá)到相同效果但工具中可以打開(kāi)查詢工具）。可以查看幫助文檔 工具欄介紹 1 2 3 4 5 6 7 8 9 10 11圖標(biāo)1．新建立一個(gè)服務(wù)器圖標(biāo)2．刷新所選擇對(duì)象（所選對(duì)象右鍵刷新也可以實(shí)現(xiàn)）圖標(biāo)3．顯示所選對(duì)象屬性（所選對(duì)象右鍵刷新也可以實(shí)現(xiàn)）圖標(biāo)4．創(chuàng)建和選取對(duì)象同類(lèi)型的對(duì)象。例如：選擇數(shù)據(jù)庫(kù)表點(diǎn)擊該圖標(biāo)就創(chuàng)建新的數(shù)據(jù)庫(kù)表，選取函數(shù)點(diǎn)擊該圖標(biāo)就新創(chuàng)建個(gè)函數(shù)。圖標(biāo)5．刪除當(dāng)前所選擇的對(duì)象。圖標(biāo)6．此圖標(biāo)為pgAdmin III最為重要工具之一（之后詳細(xì)介紹）。圖標(biāo)7．查看所選對(duì)象數(shù)據(jù)。例如選中數(shù)據(jù)庫(kù)表點(diǎn)擊該圖標(biāo)會(huì)顯示表中的數(shù)據(jù)。圖標(biāo)8．輸入條件對(duì)所選對(duì)象的數(shù)據(jù)進(jìn)行過(guò)濾。圖標(biāo)9．可以對(duì)數(shù)據(jù)庫(kù)和數(shù)據(jù)表進(jìn)行維護(hù)。 數(shù)據(jù)庫(kù)與表的創(chuàng)建在左側(cè)導(dǎo)航欄里右鍵選擇”新建數(shù)據(jù)庫(kù)”。如下圖：指定新建的數(shù)據(jù)庫(kù)名稱(chēng)和所有者，模板、表空間、字符編碼如果沒(méi)有特殊要求默認(rèn)即可。建議建表的時(shí)候表名和字段名全部小寫(xiě)，因?yàn)镚P是區(qū)分大寫(xiě)小寫(xiě)的。 使用pgAdminIII備份數(shù)據(jù)庫(kù)右鍵選擇要備份的數(shù)據(jù)庫(kù)。用pgAdmin可以把數(shù)據(jù)庫(kù)備份成三種格式，press，tar，plain。press最小，是壓縮過(guò)的，但是里面亂碼。，上面有幾行是亂碼，下部分都是數(shù)據(jù)，格式看上去不太整齊。plain也很大，但不是亂碼，里面的內(nèi)容很整齊，分為兩部分，上部分是相關(guān)的屬性和數(shù)據(jù)表的信息。下部分全是數(shù)據(jù)。字段用一個(gè)Tab分隔。然而恢復(fù)時(shí)只有press和tar的文件能夠恢復(fù)。！還有這樣恢復(fù)時(shí)，最好把庫(kù)刪了！然后新建空庫(kù)恢復(fù)！不要在原來(lái)庫(kù)的基礎(chǔ)上恢復(fù)！會(huì)有數(shù)據(jù)丟失！新表會(huì)加上，但舊表里的新數(shù)據(jù)不會(huì)加上。 JDBC配置應(yīng)用程序如果需要使用JDBC連接GP數(shù)據(jù)庫(kù)，請(qǐng)參看如下配置文件： ConfigParam ParamIDconnectDriver/ParamID ParamValue/ParamValue ParamDesc連接驅(qū)動(dòng)/ParamDesc /ConfigParam ConfigParam ParamIDconnectURL/ParamID ParamValuejdbc:postgresql://ip:port/database_name/ParamValue ParamDesc連接URL/ParamDesc /ConfigParam ConfigParam ParamIDconnectUsername/ParamID ParamValuedpi_support/ParamValue ParamDesc用戶名/ParamDesc /ConfigParam ConfigParam ParamIDconnectPassword/ParamID ParamValuedpi_support/ParamValue ParamDesc密碼/ParamDesc /ConfigParam根據(jù)應(yīng)用程序的實(shí)際情況修改ip地址、端口號(hào)、數(shù)據(jù)庫(kù)名以及用戶名和密碼， GP數(shù)據(jù)庫(kù)兩個(gè)重要概念 什么是Schema模式，也就是Schema，是數(shù)據(jù)庫(kù)中一組對(duì)象的集合，里面包含了各種對(duì)象如tables, views, sequences, stored procedures, synonyms, indexes, clusters, and database links。這里對(duì)Oracle、MySQL、PostgreSQL中的模式做了一下測(cè)試，得到以下結(jié)論： ——Oracle Schema相當(dāng)于用戶，每個(gè)用戶有一個(gè)與其用戶名相同的默認(rèn)Schema 如查詢語(yǔ)句可以寫(xiě)成 select * from 如果在語(yǔ)句中沒(méi)有指定模式，則默認(rèn)操作當(dāng)前用戶名下的對(duì)象，如果當(dāng)前用戶名下不存在此對(duì)象則報(bào)錯(cuò)——MySQL Schema相當(dāng)于庫(kù)，每個(gè)數(shù)據(jù)庫(kù)就是一個(gè)Schema 如查詢語(yǔ)句可以寫(xiě)成 select * from 如果在語(yǔ)句中沒(méi)有指定模式，則默認(rèn)查找數(shù)據(jù)庫(kù)連接語(yǔ)句中指定的數(shù)據(jù)庫(kù)下的對(duì)象，如果不存在則報(bào)錯(cuò)——PostgreSQL Schema是一個(gè)獨(dú)立的概念，在每個(gè)數(shù)據(jù)庫(kù)下面都可以創(chuàng)建多個(gè)Schema，每個(gè)Schema下面都有自己獨(dú)立的一套table、views、sequence、trigger等 首先要連上指定的數(shù)據(jù)庫(kù)，然后查詢語(yǔ)句可以寫(xiě)成 select * from 如果在語(yǔ)句中沒(méi)有指定模式名，系統(tǒng)自動(dòng)優(yōu)先操作與登陸用戶相同的模式下的對(duì)象，如果此模式不存在，則自動(dòng)操作public模式下的對(duì)象，如果仍不存在則報(bào)錯(cuò)。 數(shù)據(jù)分布存儲(chǔ) GP的SQL語(yǔ)法 數(shù)據(jù)加載 利用gpfdist載入數(shù)據(jù)1 建立數(shù)據(jù)存放目錄mkdir /home/gpadmin/input把數(shù)據(jù)放進(jìn)來(lái)2 建立外部表例如：CREATE external TABLE ext_ips_sip_t_new (f_time varchar(50),f_protocols varchar(30),f_len numeric(20),f_method varchar(30),f_to_user varchar(30),f_to_host varchar(30),f_to_port varchar(10),f_from_user varchar(30),f_from_host varchar(30),f_from_port varchar(10),f_call_id varchar(100),f_cseq_seq varchar(30),f_cseq_method varchar(20),f_status_code varchar(10),f_tag varchar(100))LOCATION (39。gpfdist://:z/*39。) FORMAT 39。TEXT39。 (DELIMITER 39。|39。) encoding 39。GBK39。LOG ERRORS INTO ext_ips_sip_org_t_err SEGMENT REJECT LIMIT 1000000000 ROWS。3 建立目標(biāo)表CREATE TABLE public.ips_sip_t (f_time varchar(50),f_protocols varchar(30),f_len numeric(20),f_method varchar(30),f_to_user varchar(30)