Czym jest revProxy?

Serwer revProxy znajduje się pomiędzy jednym lub kilkoma serwerami WWW a klientem przeglądającym stronę. Żądania wyświetlenia strony trafiają najpierw do revProxy, który (o ile już nie posiada ważnej kopii) pobiera element z serwera WWW (jak np. strona HTML, obrazek czy CSS) i zapisuje go w swojej pamięci.  Jeśli pojawia się żądanie o ten sam element, do klienta zostaje wysłana kopia zamiast oryginalnego elementu z serwera WWW. Główną zaletą takiego scenariusza jest zmniejszenie obciążenia na serwerach WWW, a tym samym szybsze ładowanie stron.

Czy revProxy jest rozwiązaniem dla mnie?

Opisywana technologia jest niestety mało popularna, a szkoda.  Poza koniecznością zaznajomienia się z mechanizmami sterującymi działaniem revProxy, występuje obawa, że straci się informacje na temat statystyk serwisu. W praktyce jednak, sterowanie revProxy jest proste, a statystyki można generować na podstawie np. kodu JavaScript zamiast logu serwera WWW.

Istnieje również niebezpieczeństwo, że w przypadku awarii serwera revProxy, strona przestanie się wyświetlać. Przy zastosowaniu odpowiednich rozwiązań load-balancer, infrastruktura może być odporna na taką awarię i w przypadku problemów z funkcjonowaniem revProxy,  cały ruch automatycznie zostanie przekierowany bezpośrednio na serwery WWW, lub na inny serwer revProxy.

Ekonomiczna zaleta tej technologii jest dość oczywista. Zmniejszenie obciążenia serwerów WWW, oznacza mniejszą ilość serwerów WWW, co prowadzi do mniejszych kosztów utrzymania.

Jak działa procedura korzystania z cache w revProxy?

W dużym uproszczeniu, wymieniamy poniżej kilka głównych zasad, którymi należy się kierować:

• Jeśli nagłówki odpowiedzi HTTP zawierają instrukcje aby nie cache-ować obiektu, nie będzie on cache-owany.
• Jeśli obiekt jest autoryzowany, bądź bezpieczny (HTTPS), nie będzie cache-owany.
• Obiektu w cache jest uznawany za świeży, jeśli posiada informacje o okresie świeżości i ten okres nie minął.
• Jeśli obiekt nie jest uznany za świeży,  revProxy odwoła się do serwera WWW i pobierze nową wersję obiektu, lub oznaczy obiekt jako niezmieniony i nadal świeży.

W przypadku, gdy obiekt nie zawiera informacji o walidacji (nagłówek ETag lub Last-Modified) oraz nie posiada dokładnego określenia co do swojego okresu ważności, w większości przypadków taki obiekt zostanie uznany za nie cache-owalny. Określenie świeżości obiektu oraz informacji o jego walidacji stanowią podstawę przy wdrażaniu revProxy do serwisu WWW.

Jak sterować revProxy z poziomu serwisu WWW?

• Meta tag w HTML

Informacje zawarte w treści obiektu HTTP z pewnością nie wpłyną na działanie revProxy, ponieważ tylko nagłówki są brane pod uwagę. Meta tagi mogą być przydatne do kontroli cache w przeglądarce, ale to też nie we wszystkich przeglądarkach. Nie należy stosować tej metody do sterowania działaniem revProxy

• Nagłówek odpowiedzi ‘Pragma’ dla HTTP 1.0
  

W sieci można znaleźć porady, aby stosować nagłówek HTTP ‘Pragma: no-cache’, aby zabezpieczyć obiekt przed cache-owaniem.  Ta metoda kontroli nad cache była stosowana za czasów protokołu HTTP 1.0 . Można oczywiście używać tego nagłówka jako dodatkowego, ale dobrze administrowany serwer revProxy będzie używał protokołu HTTP 1.1 i ten nagłówek będzie zbędny, oraz może prowadzić do problemów w przypadku rozbieżności w ustawieniach pozostałych nagłówków. Nie zalecamy stosowania nagłówków Pragma.

• Nagłówek odpowiedzi ‘Expires’ dla HTTP 1.0
  

Nagłówek ten wysłany z serwera WWW jest jednym ze sposobów na sterowaniem walidacją obiektów w revProxy. Przykład nagłówka:

Expires: Fri, 30 Oct 2011 14:19:41 GMT

Jak widać, nagłówek przyjmuje wartość daty (koniecznie w formacie GMT), zatem idealnie nadaje się do ustalenia ważności obiektu jako konkretny moment w czasie. Ponieważ nagłówek pochodzi z czasów HTTP 1.0, nie zalecamy stosowania tego nagłówka.

• Nagłówek odpowiedzi ‘Cache-Control’ dla HTTP 1.1
  

Od momentu pojawienia się standardu HTTP 1.1, pojawiła się o wiele bardziej elastyczna metoda na kontrolę revProxy, w postaci tego nagłówka. Przykład:

Cache-Control: max-age=3600, must-revalidate

Poniżej kilka przydatnych opcji wartości nagłówka:

• max-age=(sekundy). Określa maksymalną ilość czasu, dla którego dany obiekt będzie świeży. Funkcjonalność podobna do nagłówka ‘Expires’, z tą jednak różnicą, że tu podajemy ilość sekund a nie moment w czasie.
• s-max-age=(sekundy). Opcja podobna do max-age, jednak odnosi się wyłącznie do wspólnych (shared) cache, jak np revProxy, ale już nie do prywatnych (private) jak np. cache przeglądarki konkretnego użytkownika.
• public. Użycie tej opcji informuje revProxy o tym, że może cache-ować dany obiekt, nawet jeśli klient został zautoryzowany. Jeśli np. mamy do czynienia ze stroną, do której należy się zalogować, revProxy standardowo nie zachowa tej strony. Przy użyciu tej opcji, revProxy zachowa taką stronę w cache.
• private. Ta opcja powoduje, iż obiekt jest przeznaczony wyłącznie dla danego użytkownika i będzie mógł zostać zapisany w cache przeglądarki danego użytkownika, natomiast nie może on zostać zapamiętany w revProxy i dostępny dla wszystkich.
• no-cache. Użycie tej opcji powoduje wymuszenie w revProxy sprawdzenia obiektu na serwerze revProxy, za każdym razem. Jeśli obiekt przechodzi walidację (pobrany z serwera WWW jest taki sam jak w cache), to klient otrzymuje kopię bez pobierania z revProxy, a w przeciwnym razie obiekt zostanie w całości pobrany z serwera WWW.
• no-store. Ta opcja wyłącza całkowicie jakiekolwiek przechowywanie obiektu w cache i powoduje za każdym razem pobranie obiektu od serwera WWW przez revProxy do klienta.
• must-revalidate. Dzięki tej opcji, można wymusić, aby obiekt który stracił ważność, bezwzględnie został odświeżony z serwera WWW. Serwer revProxy może w szczególnych przypadkach przesłać obiekt, który stracił ważność (np w przypadku problemu ze skontaktowaniem się z serwerem WWW).

Zbiór wszystkich nagłówków i opcji jest określony w dokumencie RFC na temat specyfikacji protokołu HTTP 1.1

• Nagłówek odpowiedzi ‘Vary’ dla HTTP 1.1
  

Nagłówek ten jest wymagany do poprawnego funkcjonowania mechanizmów revProxy. Określa on inne nagłówki, których wartości stanowią kryteria dla wyboru wersji obiektu. Minimalną wartością dla nagłówka ‘Vary’ jest : Accept-Encoding, aby rozróżnić wersję obiektu, który jest np. skompresowany i nie skompresowany. Nie należy podawać nadmiernej ilości nagłówków, ponieważ prowadzi to do przeciążenia revProxy identycznymi obiektami w wielu instancjach (np. ten sam obrazek, ale przechowywany w cache dla każdej wartości nagłówka User-Agent).

• Walidacja obiektów

Proces, podczas którego revProxy sprawdza, czy obiekt w jego cache jest taki sam jak na serwerze WWW, nazywa się właśnie walidacją. Jeśli walidacja się powiedzie, revProxy nie musi pobierać całego obiektu od serwera WWW. Zapewnienie możliwości walidacji jest niezmiernie ważnym elementem podczas dostosowywania serwisu WWW do możliwości skorzystania z revProxy. Popularnym walidatorem jest nagłówek odpowiedzi HTTP ‘Last-Modified’.  Podobnie jak ‘Expires’, określa moment w czasie, gdy obiekt został zmodyfikowany. Jeśli data ‘Last-Modified’ jest późniejsza niż data w której obiekt został pobrany z serwera WWW, obiekt nie przechodzi walidacji i jest pobierany w całości ze źródłowego serwera WWW.

Protokół HTTP 1.1 zdefiniował nowy nagłówek odpowiedzi – ‘ETag’. Wartość tego nagłówka jest identyfikatorem jednoznacznie określającym wersję obiektu (zawartość obiektu, czas modyfikacji, etc).

Jak sprawdzić nagłówki z mojej strony WWW?

Doskonałym serwisem, który umożliwia sprawdzenie nagłówki oraz ich interpretację jest REDbot.org.

Powodzenia przy dostosowywaniu swojej strony WWW

Przez klaster rozumiemy infrastrukturę, która umożliwia jednoczesne działanie aplikacji z kilku serwerów, przy czym awaria któregokolwiek z nich nie powoduje awarii całej infrastruktury.

Podstawowym warunkiem takiej infrastruktury jest wspólna przestrzeń dyskowa dla każdego serwera. Fakt ten prowadzi do wniosku, że należy oszczędzać operacje wejścia/wyjścia na takiej przestrzeni. Operacje odczytu przeważnie są buforowane i nie wpływają tak znacząco jak operacje zapisu. Należy zatem ograniczyć wszystkie możliwe operacje zapisu do minimum. Tymczasowe pliki być może lepiej przechowywać na lokalnym serwerze klastra, lub jeszcze lepiej na ramdysku serwera. To pozwoli nam na uniknięcie problemu ‘wąskiego gardła’ w obszarze wydajności wspólnej przestrzeni dyskowej.

Pliki sesji można przechowywać na wiele sposobów: na lokalnym systemie plików, w bazie danych, w serwerze cache. Lokalny czy też wspólny system plików odpada ze względu na wydajność. Baza danych jest już lepszym rozwiązaniem, lecz najlepsze efekty uzyskamy stosując serwer cache. Wdrażając to ostatnie, uzyskujemy wspólną usługę do przechowywania sesji, która jest najbardziej wydajna i w dodatku posiada mechanizmy do automatycznego zarządzania przeterminowanymi sesjami.

Dobrą praktyką jest wydzielenie treści statycznej od dynamicznej. To pozwala nam na zastosowanie odrębnych serwerów WWW, przystosowanych do odpowiedniej treści. Mając do dyspozycji skalowalny klaster, możemy spokojnie przerzucić funkcjonalność kompresji dynamicznej zawartości z PHP na odpowiedni serwer WWW, który zrobi to ‘w locie’, a treść statyczna może zostać skompresowana automatycznie i jednorazowo. Użycie kompresji pozwala nam zaoszczędzić na przepustowości internetowej i sprawia, że końcowy użytkownik wyraźnie odczuwa krótsze ładowanie stron i szybszą responsywność na kliknięcia.

Dla uniknięcia przeciążenia serwerów baz danych, stosuje się mechanizm buforowania wyników zapytania, które nie zmieniają się często. Klasyfikacja takich zapytań jest ściśle związana z budową aplikacji. Dodatkowo dla usprawnienia wyszukiwarek zaimplementowanych w aplikacji, stosuje się specjalne serwery indeksacji danych. Zastosowanie tych technologii w odczuwalny sposób poprawiają wydajność baz danych i tym samym aplikacji.

Stosując powyższe praktyki, nasza aplikacja będzie przygotowana na naprawdę duże obciążenie i unikniemy efektu ‘pana gąbki’ z serwisu nasza-klasa.pl

Na rynku dostępny jest szeroki wachlarz usług zapewniających infrastrukturę pod projekty informatyczne. Hosting współdzielony, VPS, RPS, kolokacja własnego serwera, klastry różnego typu. Jakiej infrastruktury potrzebuję? Na co zwrócić uwagę? Poniżej postaramy się odpowiedzieć na te pytania.

Hosting współdzielony jest doskonałą infrastrukturą, jeśli chcemy mieć stronę np. o unikatowych znaczkach wujka, albo o naszym ukochanym kocie Filemonie. Nie mamy zapewnionej żadnej gwarancji oraz redundancji usługi, a na dodatek, jeśli któryś z naszych współ-hostingowych sąsiadów na serwerze zaszaleje z jakimś skryptem PHP (np. postanowi za każdym odwołaniem indeksować cały internet), to cały serwer ma problem – a my z nim. Warto mieć tego świadomość, aby się nie rozczarować.

Serwer wirtualny jest idealnym rozwiązaniem na utrzymywanie serwisów, przy których wolelibyśmy aby nikt inny nie mógł wpłynąć na wydajność naszej infrastruktury. Istnieją firmy, które oferują taką usługę z gwarantowanymi parametrami CPU, RAM i HDD – należy na to zwrócić szczególną uwagę, aby nie mieć problemu jak przy hostingu współdzielonym. Aby mieć pewność co do parametrów, warto przeprowadzić kilka testów, które wykażą faktyczną wydajność. Taka usługa jest również doskonałą platformą startową dla serwisów przy których zależy nam na gwarancji. Ponosimy niskie koszty utrzymania w porównaniu z infrastrukturą bardziej zaawansowaną, a w przypadku sukcesu, można zwiększyć gwarantowaną wydajność.  Nawet jeśli okaże się, że serwis nagle zyskał wysoką popularność, można szybko zwiększyć wydajność poprzez przydzielenie dodatkowej pamięci RAM czy dodatkowe CPU, co daje nam spokój na czas trwania kampanii, a jeśli popularność ciągle rośnie, mamy czas na przesiadkę na odpowiednią infrastrukturę. W konfrontacji z Hostingiem Współdzielonym, tutaj mamy jeszcze tą zaletę, że możemy mieć zainstalowane dowolne oprogramowanie które jest nam potrzebne, oraz konto root (Administratora).

Kolokacja własnego serwera jest w zasadzie na podobnym poziomie jakości jak Serwer Wirtualny, jednak jest rozwiązaniem droższym i trudniejszym w utrzymaniu. Jeśli np. zdarzy się awaria dysku na naszym serwerze – musimy się tym zając, a w przypadku Serwera Wirtualnego – zajmuje się już tym firma hostingowa. Tak samo jest ze zwiększaniem wydajności: jeśli będzie potrzeba dołożenia pamięci, czy wymiana procesora na wydajniejszy/dołożenie kolejnego procesora (o ile istnieją takie możliwości techniczne), musimy się tym zająć.

Rozwiązanie klastrowe jest rozwiązaniem najwyższej klasy jeśli chodzi o infrastrukturę. Posiadamy własne, dedykowane rozwiązanie, a w dodatku odporne na awarię pojedynczego serwera. Istnieją różne rodzaje klastrów pod aplikacje internetowe: od prostych klastrów z 2 serwerów, po potężne systemy w pełni skalowalne. Typ klastra w dużej mierze zależy od naszych oczekiwań co do skalowalności.

Podczas rozważania ofert firm, warto zwrócić uwagę na tzw. usługi dodatkowe, jak np:

• backup (czy automatyczny, jaka retencja danych)
• monitoring (podłączenie do systemu analizowania i powiadamiania w razie awarii usługi lub serwera)
• analiza wydajności (wykresy z pracy różnych obszarów systemu operacyjnego oraz usług – bez tego analiza problemu często przypomina bardziej  zgadywankę)
• zakres prac administratorskich  (czy administrator maksymalnie zrestartuje nam serwer, czy np będzie w stanie analizować problemy i instalować/konfigurować dla nas oprogramowanie

Istotne również jest umiejscowienie centrum danych dla naszej infrastruktury. Zagraniczne oferty kuszą swoją ceną, jednak jakość połączenia internetowego z takimi serwerami często pozostawia wiele do życzenia. Wystarczy sprawdzić czasy odpowiedzi z polecenia ‘ping’ i obejrzeć trasę poleceniem np. ‘mtr’ aby się przekonać. Firmy hostingowe często chwalą się wysoką wydajnością, bezpieczeństwem i fachową opieką. Warto sprawdzić, czy nie są to tylko puste ‘marketingowe’ hasła reklamowe i zapytać co w przypadku np awarii jednego switcha, routera, oraz jak zostałby rozwiązany problem nagłego zapotrzebowania na wydajność przekraczającą możliwości obecnej platformy.

Mamy nadzieję, iż dzięki tej publikacji, wybór infrastruktury stanie się bardziej świadomy.