{"id":633,"date":"2014-04-28T20:00:29","date_gmt":"2014-04-28T18:00:29","guid":{"rendered":"http:\/\/vm.piszki.pl\/horizon-workspace-wysokodost%c4%99pny-klaster-bazodanowy-oparty-o-vpostgres"},"modified":"2014-06-04T09:39:36","modified_gmt":"2014-06-04T07:39:36","slug":"horizon-workspace-wysokodost%c4%99pny-klaster-bazodanowy-oparty-o-vpostgres","status":"publish","type":"post","link":"https:\/\/vm.piszki.pl\/?p=633","title":{"rendered":"Horizon Workspace: Wysokodost\u0119pny klaster bazodanowy oparty o vPostgres"},"content":{"rendered":"

W zwi\u0105zku z premier\u0105 Horizon Workspace 1.8 (konieczno\u015b\u0107 wykonanie upgrade), oraz rozpoczynaj\u0105cymi si\u0119 testami naszego nowego rozwi\u0105zania opartego w cz\u0119\u015bci na Workspace, postanowi\u0142em przemodelowa\u0107 ca\u0142kowicie \u015brodowisko w jakim on funkcjonuje. Na pierwszy rzut posz\u0142a baza danych<\/a>. Ju\u017c od jakiego\u015b czasu jeste\u015bmy posiadaczami element\u00f3w VMware vFabric, w tym vPostgresa<\/a>, z kt\u00f3rego jeste\u015bmy bardzo zadowoleni (bo kto by nie by\u0142 zadowolony z posiadanego produkcyjnego wsparcia na baz\u0119 danych typu PostgreSQL). W przygotowanym rozwi\u0105zaniu wykorzysta\u0142em trzy instalacje vPostgres Appliance 9.3.2, dwie dzia\u0142aj\u0105ce w trybie instancji g\u0142\u00f3wnej i repliki (jako backup ostateczny) oraz trzeciej dzia\u0142aj\u0105cej aktywnie. Nody dzia\u0142aj\u0105ce w trybie aktywnym s\u0105 replikowane poprzez PGpool-II (zainstalowany osobno na CentOS). W takim schemacie PGpool-II to SPOF, dlatego najlepiej jest przygotowa\u0107 dwie instalacje i u\u017cy\u0107 load balancera (w naszym przypadku na produkcji BIG-IP F5). Lub wykorzysta\u0107 dwie instalacje PGpool-II z w\u0142\u0105czonym Watchdogiem i p\u0142ywaj\u0105cym pomi\u0119dzy maszynami \u201cwirtualnym\u201d adresem IP (tak dzia\u0142a instalacja w labie). Opisywane przeze mnie rozwi\u0105zanie jest jak najbardziej uniwersalne, mo\u017ce by\u0107 z powodzeniem u\u017cyte do uruchomienia klastra PostgreSQL<\/a> dla vCloud Automation Center<\/a> (i zapewne w przysz\u0142o\u015bci do vCSA 6.0 kt\u00f3re ma wspiera\u0107 zewn\u0119trzn\u0105 baz\u0119 danych PostgreSQL).<\/p>\n

\"postgres_cluster\"<\/a><\/p>\n

<\/p>\n

W pierwszej kolejno\u015bci musimy przygotowa\u0107 wszystkie serwery vPostgres tak, aby poprawnie<\/a> dzia\u0142a\u0142y z Horizon Workspace.<\/p>\n

W pliku \/<\/code>var<\/code>\/vmware\/vpostgres\/current\/pgdata\/postgresql.conf ustawiamy dwie zmienne (uwaga: poni\u017cej linii include postgresql.conf.auto)<\/span>:<\/code><\/p>\n

max_connections = <\/code>600<\/code><\/p>\n

search_path = <\/code>'saas'<\/code><\/p>\n

Nast\u0119pnie restartujemy (jako root) vPostgres poleceniem: service vpostgres_mon stop\/start.<\/span><\/code><\/p>\n

W kolejnym kroku konfigurujemy par\u0119 serwer\u00f3w g\u0142\u00f3wny \u2013> replika. Zak\u0142adamy baz\u0119 danych, mo\u017ce mie\u0107 dowoln\u0105 nazw\u0119, niekoniecznie saas (to samo dotyczy w\u0142a\u015bciciela bazy danych). Wa\u017cne aby za\u0142o\u017cony zosta\u0142 schemat o nazwie saas oraz za\u0142adowane rozszerzenie citext wskazuj\u0105ce na schemat saas, tak jak na poni\u017cszym rysunku (bez tego Workspace b\u0119dzie raportowa\u0142 b\u0142\u0119dy bazy danych):<\/span><\/code><\/p>\n

\"postgres1\"<\/a><\/code><\/p>\n

Mamy przygotowan\u0105 baz\u0119 danych, przechodzimy na drugi serwer, kt\u00f3ry b\u0119dzie replik\u0105, do katalogu: \/opt\/vmware\/vpostgres\/current\/scripts i wykonujemy nast\u0119puj\u0105ce polecenie (jako u\u017cytkownik postgres):<\/p>\n

.\/run_as_replica -h IP_MASTER -b -W -U postgres<\/p>\n

Skrypt zainicjuje zamian\u0119 wszystkich potrzebnych ustawie\u0144 na obydwu serwerach vPostgres. Po zako\u0144czeniu jego wykonywania b\u0119dziemy mie\u0107 dzia\u0142aj\u0105c\u0105 poprawnie par\u0119 Master\u2014>Slave.<\/p>\n

\"postgres2\"<\/a><\/p>\n

Stan replikacji mo\u017cemy sprawdzi\u0107 skryptem show_replication_status:<\/p>\n

\"postgres3\"<\/a><\/p>\n

Po ewentualnej awarii wystarczy wykona\u0107 skrypt promote_replica_to_primary aby slave przeszed\u0142 w tryb zapisu. Je\u015bli poprzestaniemy na takiej konfiguracji, to po wypromowaniu nowego serwera typu master, musimy zmieni\u0107 \u015bcie\u017ck\u0119 JDBC w Horizon Workspace Connector r\u0119cznie:<\/p>\n

\"horizon4\"<\/a><\/p>\n

Wst\u0119pn\u0105 konfiguracj\u0119 mamy zrobion\u0105, teraz zainstalujemy i skonfigurujemy PG_POOL<\/a>. Ja wybra\u0142em jako podstaw\u0119 instalacji dystrybucj\u0119 linuksa CentOS, z wielu wzgl\u0119d\u00f3w, jest darmowa i wspierana w bardzo wielu rozwi\u0105zaniach zwi\u0105zanych z vSphere (np. Trend Micro Deep Security). Niestety w wersji 64-bitowej nie ma pakietu PGpool-II, nale\u017cy go \u015bci\u0105gn\u0105\u0107<\/a> i zainstalowa\u0107 r\u0119cznie. Mo\u017cna oczywi\u015bcie zainstalowa\u0107 go te\u017c bezpo\u015brednio w Appliance vPostgres, ale tutaj nale\u017cy pami\u0119ta\u0107, \u017ce nie jest to do ko\u0144ca \u201cstandardowa\u201d dystrybucja i mo\u017ce sprawia\u0107 nam problemy<\/a> przy kolejnym upgrade (je\u015bli w niej namieszamy). Poza tym, stosuj\u0105c loadbalancer, \u0142atwiej jest wygenerowa\u0107 kolejne nody PGpool-II ni\u017c kolejne instancje vPostgres.<\/p>\n

Konfiguracja PGpool-II nie jest trudna, wszystkie potrzebne pliki znajduj\u0105 si\u0119 w \/etc\/pgpool-II. W pliku pgpool.conf ustawiamy nast\u0119puj\u0105ce opcje:<\/p>\n

\n
listen_adress = \u2018*\u2019\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 <\u2014s\u0142uchamy na ka\u017cdym interfejsie<\/span><\/pre>\n
port = 5432                 <\u2014domy\u015blnie jest 9999, ale to tylko w przypadku gdy pgpool jest instalowany razem z PostgreSQL<\/span><\/pre>\n
backend_hostname0 = \u2018ugdbp1.pulab.local\u2019  <\u2014nazwa pierwszego noda<\/span><\/pre>\n
backend_port0 = 5432        <\u2014port bazy danych<\/span><\/pre>\n
backend_weight0 = 1\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 <\u2014priorytet<\/span><\/pre>\n
backend_hostname1 = \u2018ugdbp2.pulab.local\u2019 <\u2014nazwa drugiego noda<\/span><\/pre>\n
backend_port1 = 5432<\/span><\/pre>\n
backend_weight1 = 1         <\u2014czyli maj\u0105 ten sam priorytet<\/span><\/pre>\n
enable_pool_hba = on\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 <\u2014mo\u017cliwo\u015b\u0107 \u0142\u0105czenia si\u0119 do<\/span> pg_pool z zewn\u0105trz<\/span><\/pre>\n
pool_passwd = \u2018pool_passwd\u2019 <\u2014plik z has\u0142ami uprawnionych u\u017cytkownik\u00f3w<\/span><\/pre>\n
num_init_children = 300<\/span><\/pre>\n
max_pool = 2                <\u2014limity po\u0142\u0105cze\u0144, czyli 600=300x2 (patrz wy\u017cej)<\/span><\/pre>\n
replication_mode = on\u00a0\u00a0\u00a0\u00a0\u00a0\u00a0 <\u2014synchroniczny zapis na obydwa nody<\/span><\/pre>\n
load_balance_mode = on      <\u2014asynchroniczny odczyt z r\u00f3\u017cnych nod\u00f3w<\/span><\/pre>\n<\/div>\n
Konfiguracja Watchdog przedstawia si\u0119 nast\u0119puj\u0105co:<\/p>\n
\n
use_watchdog = on<\/span><\/pre>\n
trusted_servers = '192.168.60.1'<\/span>  <\u2014Brama do<\/span> testowania sieci<\/span><\/pre>\n
ping_path = '\/bin'<\/span><\/span><\/span><\/pre>\n
\u00a0<\/span><\/pre>\n
wd_hostname = '192.168.60.134'<\/span> <\u2014Nazwa lokalnego noda<\/span><\/pre>\n
wd_port = 9000<\/span><\/pre>\n
wd_authkey = ''<\/span><\/span><\/span><\/pre>\n
\u00a0<\/span><\/pre>\n
delegate_IP = '192.168.60.136'<\/span>    <-- P\u0142ywaj\u0105cy adres<\/span><\/pre>\n
ifconfig_path = '\/sbin'<\/span><\/span><\/span><\/pre>\n
if_up_cmd = 'ifconfig eth1:0 inet $_IP_$ netmask 255.255.255.0'<\/span><\/span><\/span><\/pre>\n
if_down_cmd = 'ifconfig eth1:0 down'<\/span><\/span><\/span><\/pre>\n
arping_path = '\/usr\/sbin'<\/span><\/span><\/span><\/pre>\n
arping_cmd = 'arping -U $_IP_$ -w 1'<\/span><\/span><\/span><\/pre>\n
\u00a0<\/span><\/pre>\n
clear_memqcache_on_escalation = on<\/span><\/pre>\n
wd_escalation_command = ''<\/span><\/span><\/span><\/pre>\n
wd_lifecheck_method = 'heartbeat'<\/span><\/span><\/span><\/pre>\n
wd_interval = 10<\/span><\/pre>\n
wd_heartbeat_port = 9694<\/span><\/pre>\n
wd_heartbeat_keepalive = 2<\/span><\/pre>\n
wd_heartbeat_deadtime = 30<\/span><\/pre>\n
\u00a0<\/span><\/pre>\n
heartbeat_destination0 = '192.168.60.135'<\/span>    <\u2014adres drugiego serwera Watchdog<\/span><\/pre>\n
heartbeat_destination_port0 = 9694<\/span><\/pre>\n
heartbeat_device0 = 'eth1'<\/span><\/span><\/span><\/pre>\n
\u00a0<\/span><\/pre>\n
wd_life_point = 3<\/span><\/pre>\n
wd_lifecheck_query = 'SELECT 1'<\/span><\/span><\/span><\/pre>\n
wd_lifecheck_dbname = 'template1'<\/span><\/span><\/span><\/pre>\n
wd_lifecheck_user = 'nobody'<\/span><\/span><\/span><\/pre>\n
wd_lifecheck_password = ''<\/span><\/span><\/span><\/pre>\n
\u00a0<\/span><\/pre>\n
other_pgpool_hostname0 = '192.168.60.135'<\/span> <\u2014adres drugiego serwera PGpool<\/span><\/pre>\n
other_pgpool_port0 = 5432<\/span><\/pre>\n
other_wd_port0 = 9000<\/span><\/pre>\n<\/div>\n
<\/div>\n
Na drugim serwerze konfiguracja jest dok\u0142adnie odwrotna (adresy IP). Je\u015bli wszystko dzia\u0142a poprawnie, mo\u017cemy swobodnie wy\u0142\u0105cza\u0107 poszczeg\u00f3lne serwery PGpool-II i adres \u201cwirtualny\u201d b\u0119dzie poprawnie przenoszony pomi\u0119dzy maszynami:<\/span><\/p>\n
\"watchdog\"<\/a><\/p>\n
W pliku pool_hba.conf ustawiamy dozwolone metody po\u0142\u0105cze\u0144, obowi\u0105zuje dok\u0142adnie ta sama zasada co w PostgreSQL (mo\u017cemy ustawi\u0107 host all all 0.0.0.0\/0 md5). W pliku pool_passwd musimy wpisa\u0107 wszystkich u\u017cytkownik\u00f3w z baz danych kt\u00f3rzy b\u0119d\u0105 si\u0119 \u0142\u0105czy\u0107 do PostgreSQL poprzez PGpool-II w schemacie USER:MD5HASH. Wa\u017cna uwaga, w dokumentacji hash mo\u017cna wygenerowa\u0107 poleceniem pg_md5, b\u0142\u0105d, to polecenie generuje b\u0142\u0119dny<\/a> hash. Prawid\u0142owy nale\u017cy wyci\u0105gn\u0105\u0107 bezpo\u015brednio z bazy danych (je\u015bli u\u017cywamy pgAdmina to wystarczy klikn\u0105\u0107 na dan\u0105 rol\u0119). Natomiast je\u015bli chcemy wykorzysta\u0107 pgpoolAdmin, to w pliku pcp.conf zapisane has\u0142a musz\u0105 zosta\u0107 wygenerowane za pomoc\u0105 pg_md5. I to w zasadzie wszystko, PGpool-II jest ca\u0142kowicie prze\u017aroczysty, nie generuje obci\u0105\u017cenia na maszynie, super rozwi\u0105zanie.<\/p>\n
Na koniec kilka s\u0142\u00f3w o awarii. W przypadku pary Master\u2014>Slave schemat jest znany, pada master, promujemy drugiego noda do roli mastera i prze\u0142\u0105czamy aplikacj\u0119 na wypromowany serwer. Po usuni\u0119ciu awarii, po prostu podpinamy odzyskany serwer jako slave. W przypadku gdy mamy dwa aktywne nody, awaria jednego nie wp\u0142ywa na prac\u0119 aplikacji, PGpool-II po prostu przestaje si\u0119 \u0142\u0105czy\u0107 do drugiego noda i wszystkie zapytania przekazuje do pierwszego. Po usuni\u0119ciu awarii, absolutnie nie mo\u017cemy tak po prostu uruchomi\u0107 odzyskanego serwera. Nale\u017cy wy\u0142\u0105czy\u0107 aplikacj\u0119 i usp\u00f3jni\u0107 bazy danych (pod\u0142\u0105czy\u0107 si\u0119 jako slave, wszystko si\u0119 skopiuje samo, i wypromowa\u0107 serwer), i dopiero w\u0142\u0105czy\u0107 aplikacj\u0119. R\u00f3\u017cnica jak wida\u0107 sprowadza si\u0119 do jednego, w wariancie pierwszym wy\u0142\u0105czamy aplikacj\u0119 kiedy musimy, a w drugim kiedy chcemy \"U\u015bmiech\"<\/p>\n
Mo\u017cna te\u017c wykorzysta\u0107 mechanizmy failover dostarczone razem z PGpool-II, jeszcze ich nie testowa\u0142em, jak ju\u017c uzupe\u0142ni\u0119 wiedz\u0119 to postaram si\u0119 zda\u0107 relacj\u0119 czy ten mechanizm dzia\u0142a poprawnie.<\/p>\n
English<\/a><\/p>\n
<\/div>","protected":false},"excerpt":{"rendered":"
W zwi\u0105zku z premier\u0105 Horizon Workspace 1.8 (konieczno\u015b\u0107 wykonanie upgrade), oraz rozpoczynaj\u0105cymi si\u0119 testami naszego nowego rozwi\u0105zania opartego w cz\u0119\u015bci na Workspace, postanowi\u0142em przemodelowa\u0107 ca\u0142kowicie \u015brodowisko w jakim on funkcjonuje. Na pierwszy rzut posz\u0142a baza danych. Ju\u017c od jakiego\u015b czasu … Continue reading →<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":1529,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"yasr_overall_rating":0,"yasr_post_is_review":"","yasr_auto_insert_disabled":"","yasr_review_type":"","footnotes":""},"categories":[45],"tags":[5,47,46,43],"class_list":["post-633","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-poradniki","tag-horizon-workspace","tag-pgpool-ii","tag-postgresql","tag-vpostgres"],"yasr_visitor_votes":{"stars_attributes":{"read_only":false,"span_bottom":false},"number_of_votes":1,"sum_votes":5},"_links":{"self":[{"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/posts\/633"}],"collection":[{"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=633"}],"version-history":[{"count":13,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/posts\/633\/revisions"}],"predecessor-version":[{"id":1096,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/posts\/633\/revisions\/1096"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/media\/1529"}],"wp:attachment":[{"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=633"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=633"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=633"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}