Czym jest revProxy?

Serwer revProxy znajduje się pomiędzy jednym lub kilkoma serwerami WWW a klientem przeglądającym stronę. Żądania wyświetlenia strony trafiają najpierw do revProxy, który (o ile już nie posiada ważnej kopii) pobiera element z serwera WWW (jak np. strona HTML, obrazek czy CSS) i zapisuje go w swojej pamięci.  Jeśli pojawia się żądanie o ten sam element, do klienta zostaje wysłana kopia zamiast oryginalnego elementu z serwera WWW. Główną zaletą takiego scenariusza jest zmniejszenie obciążenia na serwerach WWW, a tym samym szybsze ładowanie stron.

Czy revProxy jest rozwiązaniem dla mnie?

Opisywana technologia jest niestety mało popularna, a szkoda.  Poza koniecznością zaznajomienia się z mechanizmami sterującymi działaniem revProxy, występuje obawa, że straci się informacje na temat statystyk serwisu. W praktyce jednak, sterowanie revProxy jest proste, a statystyki można generować na podstawie np. kodu JavaScript zamiast logu serwera WWW.

Istnieje również niebezpieczeństwo, że w przypadku awarii serwera revProxy, strona przestanie się wyświetlać. Przy zastosowaniu odpowiednich rozwiązań load-balancer, infrastruktura może być odporna na taką awarię i w przypadku problemów z funkcjonowaniem revProxy,  cały ruch automatycznie zostanie przekierowany bezpośrednio na serwery WWW, lub na inny serwer revProxy.

Ekonomiczna zaleta tej technologii jest dość oczywista. Zmniejszenie obciążenia serwerów WWW, oznacza mniejszą ilość serwerów WWW, co prowadzi do mniejszych kosztów utrzymania.

Jak działa procedura korzystania z cache w revProxy?

W dużym uproszczeniu, wymieniamy poniżej kilka głównych zasad, którymi należy się kierować:

• Jeśli nagłówki odpowiedzi HTTP zawierają instrukcje aby nie cache-ować obiektu, nie będzie on cache-owany.
• Jeśli obiekt jest autoryzowany, bądź bezpieczny (HTTPS), nie będzie cache-owany.
• Obiektu w cache jest uznawany za świeży, jeśli posiada informacje o okresie świeżości i ten okres nie minął.
• Jeśli obiekt nie jest uznany za świeży,  revProxy odwoła się do serwera WWW i pobierze nową wersję obiektu, lub oznaczy obiekt jako niezmieniony i nadal świeży.

W przypadku, gdy obiekt nie zawiera informacji o walidacji (nagłówek ETag lub Last-Modified) oraz nie posiada dokładnego określenia co do swojego okresu ważności, w większości przypadków taki obiekt zostanie uznany za nie cache-owalny. Określenie świeżości obiektu oraz informacji o jego walidacji stanowią podstawę przy wdrażaniu revProxy do serwisu WWW.

Jak sterować revProxy z poziomu serwisu WWW?

• Meta tag w HTML

Informacje zawarte w treści obiektu HTTP z pewnością nie wpłyną na działanie revProxy, ponieważ tylko nagłówki są brane pod uwagę. Meta tagi mogą być przydatne do kontroli cache w przeglądarce, ale to też nie we wszystkich przeglądarkach. Nie należy stosować tej metody do sterowania działaniem revProxy

• Nagłówek odpowiedzi ‘Pragma’ dla HTTP 1.0
  

W sieci można znaleźć porady, aby stosować nagłówek HTTP ‘Pragma: no-cache’, aby zabezpieczyć obiekt przed cache-owaniem.  Ta metoda kontroli nad cache była stosowana za czasów protokołu HTTP 1.0 . Można oczywiście używać tego nagłówka jako dodatkowego, ale dobrze administrowany serwer revProxy będzie używał protokołu HTTP 1.1 i ten nagłówek będzie zbędny, oraz może prowadzić do problemów w przypadku rozbieżności w ustawieniach pozostałych nagłówków. Nie zalecamy stosowania nagłówków Pragma.

• Nagłówek odpowiedzi ‘Expires’ dla HTTP 1.0
  

Nagłówek ten wysłany z serwera WWW jest jednym ze sposobów na sterowaniem walidacją obiektów w revProxy. Przykład nagłówka:

Expires: Fri, 30 Oct 2011 14:19:41 GMT

Jak widać, nagłówek przyjmuje wartość daty (koniecznie w formacie GMT), zatem idealnie nadaje się do ustalenia ważności obiektu jako konkretny moment w czasie. Ponieważ nagłówek pochodzi z czasów HTTP 1.0, nie zalecamy stosowania tego nagłówka.

• Nagłówek odpowiedzi ‘Cache-Control’ dla HTTP 1.1
  

Od momentu pojawienia się standardu HTTP 1.1, pojawiła się o wiele bardziej elastyczna metoda na kontrolę revProxy, w postaci tego nagłówka. Przykład:

Cache-Control: max-age=3600, must-revalidate

Poniżej kilka przydatnych opcji wartości nagłówka:

• max-age=(sekundy). Określa maksymalną ilość czasu, dla którego dany obiekt będzie świeży. Funkcjonalność podobna do nagłówka ‘Expires’, z tą jednak różnicą, że tu podajemy ilość sekund a nie moment w czasie.
• s-max-age=(sekundy). Opcja podobna do max-age, jednak odnosi się wyłącznie do wspólnych (shared) cache, jak np revProxy, ale już nie do prywatnych (private) jak np. cache przeglądarki konkretnego użytkownika.
• public. Użycie tej opcji informuje revProxy o tym, że może cache-ować dany obiekt, nawet jeśli klient został zautoryzowany. Jeśli np. mamy do czynienia ze stroną, do której należy się zalogować, revProxy standardowo nie zachowa tej strony. Przy użyciu tej opcji, revProxy zachowa taką stronę w cache.
• private. Ta opcja powoduje, iż obiekt jest przeznaczony wyłącznie dla danego użytkownika i będzie mógł zostać zapisany w cache przeglądarki danego użytkownika, natomiast nie może on zostać zapamiętany w revProxy i dostępny dla wszystkich.
• no-cache. Użycie tej opcji powoduje wymuszenie w revProxy sprawdzenia obiektu na serwerze revProxy, za każdym razem. Jeśli obiekt przechodzi walidację (pobrany z serwera WWW jest taki sam jak w cache), to klient otrzymuje kopię bez pobierania z revProxy, a w przeciwnym razie obiekt zostanie w całości pobrany z serwera WWW.
• no-store. Ta opcja wyłącza całkowicie jakiekolwiek przechowywanie obiektu w cache i powoduje za każdym razem pobranie obiektu od serwera WWW przez revProxy do klienta.
• must-revalidate. Dzięki tej opcji, można wymusić, aby obiekt który stracił ważność, bezwzględnie został odświeżony z serwera WWW. Serwer revProxy może w szczególnych przypadkach przesłać obiekt, który stracił ważność (np w przypadku problemu ze skontaktowaniem się z serwerem WWW).

Zbiór wszystkich nagłówków i opcji jest określony w dokumencie RFC na temat specyfikacji protokołu HTTP 1.1

• Nagłówek odpowiedzi ‘Vary’ dla HTTP 1.1
  

Nagłówek ten jest wymagany do poprawnego funkcjonowania mechanizmów revProxy. Określa on inne nagłówki, których wartości stanowią kryteria dla wyboru wersji obiektu. Minimalną wartością dla nagłówka ‘Vary’ jest : Accept-Encoding, aby rozróżnić wersję obiektu, który jest np. skompresowany i nie skompresowany. Nie należy podawać nadmiernej ilości nagłówków, ponieważ prowadzi to do przeciążenia revProxy identycznymi obiektami w wielu instancjach (np. ten sam obrazek, ale przechowywany w cache dla każdej wartości nagłówka User-Agent).

• Walidacja obiektów

Proces, podczas którego revProxy sprawdza, czy obiekt w jego cache jest taki sam jak na serwerze WWW, nazywa się właśnie walidacją. Jeśli walidacja się powiedzie, revProxy nie musi pobierać całego obiektu od serwera WWW. Zapewnienie możliwości walidacji jest niezmiernie ważnym elementem podczas dostosowywania serwisu WWW do możliwości skorzystania z revProxy. Popularnym walidatorem jest nagłówek odpowiedzi HTTP ‘Last-Modified’.  Podobnie jak ‘Expires’, określa moment w czasie, gdy obiekt został zmodyfikowany. Jeśli data ‘Last-Modified’ jest późniejsza niż data w której obiekt został pobrany z serwera WWW, obiekt nie przechodzi walidacji i jest pobierany w całości ze źródłowego serwera WWW.

Protokół HTTP 1.1 zdefiniował nowy nagłówek odpowiedzi – ‘ETag’. Wartość tego nagłówka jest identyfikatorem jednoznacznie określającym wersję obiektu (zawartość obiektu, czas modyfikacji, etc).

Jak sprawdzić nagłówki z mojej strony WWW?

Doskonałym serwisem, który umożliwia sprawdzenie nagłówki oraz ich interpretację jest REDbot.org.

Powodzenia przy dostosowywaniu swojej strony WWW

Geneza:

W roku 1967,  Amerykańska agencja militarna DARPA tworzy/finansuje powstanie sieci rozległej nazwanej ARPANET. Środek okresu zimnej wojny i wielkiej rywalizacji technologicznej USA – ZSRR. Początkowo sieć ma charakter rządowo-militarno-naukowy, po czym w roku 1980 zostaje odseparowana część sieci, którą obecnie nazywamy Internetem. Warto zaznaczyć, iż nawet w czasach obecnych wiele kluczowych dla funkcjonowania sieci elementów działa pod kontrolą DARPA.

Rozwój:

Za rozwój technologii internetowej odpowiada powołana przez DARPA grupa naukowo badawcza IETF, która w obecnych czasach ma charakter nieformalny, otwarty dla każdego i ogólnoświatowy. Celem grupy jest opracowywanie standardów i wytycznych w postaci dokumentów RFC. Oficjalnie zatwierdzone RFC staje się wyznacznikiem dla producentów sprzętu i oprogramowania wykorzystujących sieć Internet.

Adresy IP:

Za adresy IP na samej górze odpowiada organizacja non-profit ICANN (z siedzibą w Kalifornii), a właściwie jej autonomiczna część IANA, której rząd Stanów Zjednoczonych przekazał czasowo prawo nadzoru nad przydziałem adresów IP.  Świat zostaje podzielony na 5 regionów i odpowiadającym im organizacjom drugiego poziomu: AfriNIC (Afryka), APNIC (Azja-Pacyfik), ARIN (Ameryka Północna), LACNIC (Ameryka Południowa, Środkowa i Kariby), oraz RIPE NCC (Europa, Bliski Wschód i Azja Środkowa) z siedzibą w Amsterdamie. Organizacje te bezpośrednio lub co jest częściej spotykane za pośrednictwem dostawców internetu posiadających status LIR (np. TP SA, ATM, GTS), przydzielają adresy IP odbiorcom końcowym.

Odpowiedź na pytanie nie-do-końca pozbawione sensu „kto jest właścicielem internetu”, powinna być teraz łatwiejsza

Trasowanie:

Aby możliwa była komunikacja w Internecie, samo istnienie unikalnych adresów IP nie wystarczy – potrzebny jest jakiś mechanizm przekazujący informacje jak dotrzeć od jednego adresu IP do drugiego. Mechanizmem tym jest protokół routingu (w internecie – BGP), przekazujący informacje pomiędzy urządzeniami zwanymi routerami (w wielkim uproszczeniu np. aby dostać się z adresu A do B, należy przejść przez routery A->X1->X2->X3->B).  Dostawcy internetu tworzą lub podłączają się do różnych punktów wymiany ruchu sobą, zwanych IXP (pomieszczenie techniczne z dużą ilością kabli i routerów).

Warto mieć na uwadze fakt, iż połączenie pomiędzy dwoma punktami (w uproszczeniu adresami IP) w tym samym mieście, może odbywać się przez IXP w bardzo odległej lokacji geograficznej. Pomimo iż nie ma to uzasadnienia technicznego, to takie połączenie może być tańsze dla dostawców internetowych.

Nazwy domenowe:

Dla przeciętnego człowieka, używanie adresów IP w praktyce jest nieakceptowalne: wyobraźmy sobie np zamiast wpisywania http://www.allegro.pl -  http://193.23.48.134/ .  Dlatego właśnie wymyślono domeny i system zamiany adresów domenowych na adresy IP (DNS).  Nazwy domenowe zostały sklasyfikowane na różne poziomy: najwyższy  (np .pl – Polska) i niższe (np edu.pl – edukacyjna,  gov.pl – rządowa, waw.pl – regionalna). Na samej górze serwerów nazw są tzw. root nameservers (w większości znajdują się w Stanach Zjednoczonych), które przechowują między innymi (na obecną chwilę) 248 dwuliterowych domen najwyższego poziomu.

Jako że nie ma przymusu stosowania zaproponowanej klasyfikacji, można sobie zarejestrować domenę np moje.tv co tak naprawdę technicznie jest domeną regionalną wysp Tuvalu .

W Polsce głównym rejestratorem nazw domenowych jest NASK, a inne podmioty działają na mocy porozumienia z NASK.

Filtrowanie/cenzura internetu:

Firmy często decydują się na ograniczanie dostępu do internetu ze względu na swoją politykę bezpieczeństwa. Oprócz blokowania, często zbiera się informacje kto i kiedy przegląda jakie strony itp. O ile przedsiębiorstwo samo decyduje o swojej polityce, to 100% cenzura na skalę krajową jest TECHNICZNIE NIEMOŻLIWA! Istnieje szereg mechanizmów szyfrujących transmisję lub tunelujących połączenia, które skutecznie obejdą wszelkie zabezpieczenia. Z technicznego punktu widzenia, aby skutecznie kontrolować przepływ informacji w Internecie, należałoby odciąć wszystkie połączenia ze światem w Polsce (wliczając np. połączenia satelitarne), co wydaje się również NIEMOŻLIWE!

Możliwe jednak jest wprowadzenie przepisów prawnych np. ograniczających siłę szyfrowania (jak np w USA) i wtedy oczywiście obejście zabezpieczeń będzie technicznie nadal możliwe, jednak obwarowane sankcjami prawnymi.