{"id":2800,"date":"2016-02-08T10:52:33","date_gmt":"2016-02-08T09:52:33","guid":{"rendered":"http:\/\/vm.piszki.pl\/?p=2800"},"modified":"2016-05-13T14:24:28","modified_gmt":"2016-05-13T12:24:28","slug":"veeam-backup-v9-datastore-command-aborts","status":"publish","type":"post","link":"https:\/\/vm.piszki.pl\/?p=2800","title":{"rendered":"Veeam Backup v9 – Datastore Command Aborts"},"content":{"rendered":"

Przeci\u0105\u017cenie systemu dyskowego w trakcie wykonywania backupu mo\u017ce skutkowa\u0107 wieloma nieprzyjemnymi b\u0142\u0119dami. Jednym z nich jest SCSI Command Abort, pojawia si\u0119 on w momencie, gdy karta HBA jest przeci\u0105\u017cona lub gdy jej kolejka rozkaz\u00f3w (q-depth) zostaje przepe\u0142niona. W obu przypadkach skutek jest ten sam, w subsystemie SCSI hosta polecenia SCSI kt\u00f3re nie zostan\u0105 wykonane w zadanym czasie zostaj\u0105 skasowane. Oznacza to dramatyczny spadek wydajno\u015bci i wzrost op\u00f3\u017anie\u0144 w milisekundach. Przyj\u0119ta metoda backupu w \u015brodowiskach wirtualnych, gdzie odczytujemy VM z jednego miejsca i zapisujemy jej dane w innym miejscu powoduje, \u017ce w trakcie backupu musimy przetworzy\u0107 bardzo du\u017ce ilo\u015bci danych. Nieprawid\u0142owe lub niefrasobliwe ustawienia (np. scheduler\u00f3w) mog\u0105 spowodowa\u0107 przeci\u0105\u017cenie ca\u0142ej infrastruktury SAN w naszym \u015brodowisku.<\/p>\n

\"vback6\"<\/a><\/p>\n

<\/p>\n

Ka\u017cdy system monitoringu naszych datastore poka\u017ce nam op\u00f3\u017anienia w milisekundach jakie wyst\u0119puj\u0105 normalnie i w trakcie wykonywania backupu. Nie ka\u017cdy jednak poka\u017ce czy w naszym systemie wyst\u0119puj\u0105 \u201cDatastore Commad Aborts\u201d (czy kto\u015b wie jak uzyska\u0107 tak\u0105 informacj\u0119 w vRealize Operations?). Tutaj bardzo pomocny okazuje si\u0119 Veeam ONE<\/a> kt\u00f3ry w takim wypadku wysy\u0142a do nas maile z ostrze\u017ceniami.<\/p>\n

\"vback2\"<\/a><\/p>\n

Mo\u017cemy te\u017c w trakcie backupu podgl\u0105da\u0107 w czasie rzeczywistym co dzieje si\u0119 na ka\u017cdym ESXi, wykorzystujemy do tego esxtop. Po jego uruchomieniu wybieramy \u201cu\u201d aby przej\u015b\u0107 do sekcji dyskowej a nast\u0119pnie \u201cf\u201d. Tutaj zaznaczamy \u201cL\u201d (czyli b\u0142\u0119dy), \u201cG\u201d (statystyki rozkaz\u00f3w) i \u201cA\u201d (nazwy dysk\u00f3w), reszt\u0119 mo\u017cemy odznaczy\u0107. Normalna praca wygl\u0105da mniej wi\u0119cej tak (przedostatnia kolumna to aborty):<\/p>\n

\"vback1\"<\/a><\/p>\n

ABRTS\/s r\u00f3wne 1 pojawia si\u0119 wtedy gdy system operacyjny VM zg\u0142asza b\u0142\u0105d \u201cbrak odpowiedzi dysku\u201d (np. gdy w Windows przez 60 sekund dysk nie akceptuje ani jednej operacji I\/O). Jak si\u0119 przed tym broni\u0107? Je\u017celi mamy wiele volumen\u00f3w, roz\u0142\u00f3\u017cmy maszyny wirtualne (te kt\u00f3re b\u0119d\u0105 jednocze\u015bnie backupowane) r\u00f3wnomiernie pomi\u0119dzy nie. Na podstawie danych historycznych w Veeam ONE (Datastore \u2013> Disk Issues \u2013> Past week) mo\u017cemy ustali\u0107 kt\u00f3ry datastore generuje najwi\u0119cej b\u0142\u0119d\u00f3w i go odci\u0105\u017cy\u0107 (na podstawie alert\u00f3w mo\u017cna ustali\u0107 kt\u00f3re konkretne maszyny zg\u0142asza\u0142y b\u0142\u0119dy w dost\u0119pie do dysk\u00f3w).<\/p>\n

\"vback5\"<\/a><\/p>\n

Ustawmy wyzwalanie backup\u00f3w tak aby nie zachodzi\u0142y na siebie. Je\u017celi mamy Veeam Backup Enterprise to w opcjach mo\u017cemy w\u0142\u0105czy\u0107\u00a0 \u201cEnable storage latency control\u201d.<\/p>\n

\"vback3\"<\/a><\/p>\n

Pierwszy parametr spowoduje, \u017ce Veeam zaczeka na datastore a\u017c b\u0119dzie niezbyt obci\u0105\u017cony zanim wystartuje kolejne zadanie (dlatego nale\u017cy precyzyjnie ustali\u0107 jaka jest nasza \u015brednia). Drugi parametr dotyczy ju\u017c uruchomionych zada\u0144, je\u015bli obci\u0105\u017cenie datastore przekroczy za\u0142o\u017cony pr\u00f3g to zadanie backupu b\u0119dzie zwalnia\u0107 (potrwa troch\u0119 d\u0142u\u017cej ale nie obci\u0105\u017cy datastore ponad miar\u0119). W\u0142a\u015bciwe dopasowanie prog\u00f3w zale\u017cy oczywi\u015bcie od rezultatu jaki chcecie osi\u0105gn\u0105\u0107. Kolejnym parametrem jakim mo\u017cemy manipulowa\u0107 to \u201cMax concurent tasks\u201d w VMware Backup Proxy.<\/p>\n

\"vback4\"<\/a><\/p>\n

Domy\u015blna warto\u015b\u0107 to cztery, mo\u017cemy j\u0105 obni\u017cy\u0107 tak, aby osi\u0105gn\u0105\u0107 r\u00f3wnowag\u0119 (nie obci\u0105\u017camy datastore nadmiern\u0105 ilo\u015bci\u0105 jednoczesnych zada\u0144 i nie wyd\u0142u\u017camy backupu ponad miar\u0119). Je\u015bli to nie pomo\u017ce to w opcjach mo\u017cemy ca\u0142kowicie wy\u0142\u0105czy\u0107 \u201cEnable parallel processing\u201d, wtedy backupy b\u0119d\u0105 sz\u0142y sekwencyjnie. Ostatecznie zwr\u00f3\u0107my te\u017c uwag\u0119 czy w trakcie okna backupowego nie id\u0105 inne zadania powoduj\u0105ce dodatkowe obci\u0105\u017cenie system\u00f3w dyskowych (np. nocna kompilacja kodu). Jak wida\u0107 mo\u017cliwo\u015bci jest wiele, bez trudu da si\u0119 ustawi\u0107 backup tak, aby w \u015brodowisku nie pojawia\u0142y si\u0119 b\u0142\u0119dy SCSI.<\/p>\n

<\/div>","protected":false},"excerpt":{"rendered":"

Przeci\u0105\u017cenie systemu dyskowego w trakcie wykonywania backupu mo\u017ce skutkowa\u0107 wieloma nieprzyjemnymi b\u0142\u0119dami. Jednym z nich jest SCSI Command Abort, pojawia si\u0119 on w momencie, gdy karta HBA jest przeci\u0105\u017cona lub gdy jej kolejka rozkaz\u00f3w (q-depth) zostaje przepe\u0142niona. W obu przypadkach … Continue reading →<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":1899,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"yasr_overall_rating":0,"yasr_post_is_review":"","yasr_auto_insert_disabled":"","yasr_review_type":"Product","footnotes":""},"categories":[36],"tags":[75],"class_list":["post-2800","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-analiza","tag-veeam-backup"],"yasr_visitor_votes":{"stars_attributes":{"read_only":false,"span_bottom":false},"number_of_votes":2,"sum_votes":10},"_links":{"self":[{"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/posts\/2800"}],"collection":[{"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=2800"}],"version-history":[{"count":8,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/posts\/2800\/revisions"}],"predecessor-version":[{"id":2979,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/posts\/2800\/revisions\/2979"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=\/wp\/v2\/media\/1899"}],"wp:attachment":[{"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=2800"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=2800"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/vm.piszki.pl\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=2800"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}