Dzień w pracy jak co dzień. Poranna kawa, lektura wybranych kolumn rzepy, wymiana poglądów techniczno-politycznych z kolegami.

Nagle na monitorze dostępności systemów pojawiają się informacje w kolorze czerwonym. Chwilę później SMS’y sypią się jednocześnie, chyba z 10 sztuk. Przestał odpowiadać serwer klienta. Ale chwila, czy teraz przypadkiem nie idzie kampania? Zaczyna być coraz ciekawiej.

Jeszcze chwila i wszyscy wpadną w panikę. Jednak tak się nie dzieje – w systemie widać, że klient ma przecież klaster wysokiej dostępności. Sprawdzamy na monitorze stan usług – wszystkie funkcjonują nadal, tylko że teraz z jednego serwera a nie z obu. Ciągłość świadczenia usług jest zachowana.

Podłączamy się do zdalnej konsoli, aby zobaczyć na ekranie ostatnie komunikaty z systemu operacyjnego na uszkodzonym serwerze. System uznał, że wszystkie dyski zniknęły. Wszystkie 4 jednocześnie? Co tam się dzieje?

Restart maszyny, teraz już system nie widzi dysków. Nie ma rady, jedna grupa techników idzie zobaczyć co się dzieje. Okazuje się, iż faktycznie wszystkie dyski padły. Wydaje się to nieprawdopodobne, jednak jak się jeszcze później okazuje, firma Seagate zrobiła psikusa wypuszczając serię dysków z uszkodzonym firmware. Objawy, modele i wersje firmware dysków – wszystko niestety się zgadza.

Management bogatszy o tą wiedzę, powiadamia klienta o sytuacji. „Szanowni Państwo, macie teraz awarię jednego ze swoich serwerów”. Daje się wyczuć niepokój w rozmówcy. „Tak, wiem, że idzie teraz kampania – dzięki klastrowi, wszystko nadal działa” – uspokajamy, po czym wyjaśniamy co się stało z dyskami. Po wysłaniu mailem parametrów dysków, nie mijają 2 godziny jak otrzymujemy nowe dyski, już od innego producenta.

Pod koniec dnia roboczego, serwer jest już wyposażony w nowe dyski, dane są odzyskane z backupu, a klastrowe urządzenia blokowe – zsynchronizowane. Podejmujemy decyzję o rozłożeniu usług w klastrze na 2 serwery – tak jak miało to miejsce przed awarią.

Lepiej nie myśleć co byłoby, gdyby nie klaster…