Deep Web

Deep Web
Polecane artykuły


Deep Web - Głęboka sieć (Deep Web), zwana inaczej siecią ukrytą (Hidden Web) lub siecią niewidzialną (Invisible Web), stanowi tę część Wold Wide Web, która nie jest indeksowana przez standardowe wyszukiwarki. Termin Deep Web został użyty już w 1994 roku przez Jilla Ellswortha dla opisu informacji niewidocznych dla konwencjonalnych wyszukiwarek, czyli dużo wcześniej nim Internet wstąpił w etap upowszechnienia. Niewidoczność tę należy interpretować jako sytuację, w której przeglądarka ma dostęp do kodu danej strony, ale nie jest w stanie go zinterpretować. Deep Web można traktować jako przeciwieństwo sieci widzialnej (Visible Web) zwaną również powierzchniową (Surface Web) czy siecią indeksowalną (Indexable Web), do której dostęp jest osiągalny z poziomu wyszukiwarek. (Szpunar, 2014)

Deep Web a Darknet

Pojęcia Darknet i Deep Web są ze sobą niejednokrotnie mylone. Deep Web jest terminem, który odnosi się do wszystkich nieindeksowanych części Internetu przez wyszukiwarki, czyli nie są obecne w wynikach wszystkich popularnych wyszukiwarek internetowych, takich jak np. Google, Yahoo czy Bing. Spekulacje tworzone przez ekspertów z dziedziny IT przewidują, że wielkość głębokiej sieci może być nawet do kilkuset razy większa niż sieć ogólnodostępna. W rzeczywistości większość głębokiej sieci nie zawiera nic niepokojącego. Znajdują się tu głównie ogromne bazy danych, biblioteki czy witryny sklepowe niedostępne dla ogółu społeczeństwa. Jednym z przykładów mogą być używane na co dzień przez studentów i wykładowców zasoby akademickie prowadzone przez uniwersytety czyli np. katalogi biblioteczne czy wewnętrzne sieci uczelniane. Zasadnicza różnica jednak wynika z tego, że zasoby Deep Webu mogą zostać wyszukane poprzez alternatywne wewnętrzne wyszukiwarki. Niestety nie są one w pełni możliwe do rozpoznania ze względu na ich ogrom oraz ilość unikatowych wyszukiwarek, a wiele projektów zwanymi "głębokimi indeksami” nie udało się zrealizować. Niemniej prace nad przeczesywaniem sieci Deep Web nadal są rozwijane. Natomiast Darknetem czyli ciemną siecią jest niewielki wycinek omówionego wcześniej Deep Webu. Treść Darknetu jest niedostępna we wszelakich wyszukiwarkach. Opiewa ona na koncepcji prywatności i całkowitej anonimowości osiąganych za pomocą niezwykle zaawansowanym technikom kryptograficznym. W Darknecie, co do zasady, pełną ochronę prywatności zapewnioną mają zarówno internauci jak i wydawcy stron. Mimo iż jest to możliwe, dużym agencjom rządowym szereg trudności sprawia śledzenie osób funkcjonujących w anonimowej przestrzeni. Wymagane do tego nakłady nie są proporcjonalne do skuteczności. (Majorek, 2017)

Zasoby Deep Webu

"Powszechnie wiadomo, że nie można precyzyjnie zliczyć wszystkich stron WWW, ani tych, które "widzą” wyszukiwarki. Mimo to, co pewien czas podejmowane są badania, w których naukowcy starają się oszacować wielkość sieci płytkiej i głębokiej. Najczęściej cytowana praca, na której opierało się wiele następnych to wyniki badań M. K. Bergmana dla Bright Planet z 2001 r., wg których:

  1. deep web jest ok. 400-550 razy większy niż zasoby indeksowane przez wyszukiwarki i liczy ok. 550 mld dokumentów (7.500 terabajtów),
  2. 60 największych baz danych ukrytego Internetu zawiera 750 TB danych,
  3. ok. 95% zasobów "ukrytych" jest dostępnych publicznie, bezpłatnie;
  4. ponad połowa to tematyczne bazy danych;
  5. zasoby deep web są odwiedzane przez użytkowników o 50% częściej niż zasoby "płytkie”.

C. Sherman podał w 2001 r. nieco inne wyniki badań i oszacował ukryty web jako ok. 2-50 razy większy niż zasoby indeksowane przez wyszukiwarki. D. Lewandowski i P. Mayr, P uznali w 2006 r. szacunki M. K. Bergmana za bardzo zawyżone z powodu błędu statystycznego (korzystania ze średniej zamiast mediany) oraz liczenia rozmiaru baz danych w GB zamiast rekordach. Sami oszacowali rozmiar "naukowej sieci ukrytej” na ok. 20-100 mld dokumentów" (Derfert-Wolf, 2007)

Bibliografia

Autor: Łukasz Rygał