Pochi sanno che il 90% di Internet non viene rilevato dai motori di ricerca tradizionali e da altri indici. Questa è la rete nascosta, conosciuta come Deep Web.

Il “Web invisibile” è quella parte della Rete che i motori di ricerca classici non sanno o non vogliono vedere. Nella maggior parte dei casi è l’amministratore stesso del sito che inserisce al suo interno o nel server un comando per impedire che i motori di ricerca ne effettuino la scansione citandone quindi il contenuto. Secondo alcune ricerche questo Web invisibile conterrebbe “una quantità 500 volte maggiore di informazioni, tra cui centinaia di migliaia di risorse di grande valore”.

Queste pagine “invisibili” utilizzano quattro tipi di protezione:

The Opaque Web: si tratta di pagine che potrebbero essere indicizzate dai motori di ricerca ma non lo sono, per esempio perché i collegamenti non ci sono o non funzionano.

The Private Web: sono pagine controllate dagli amministratori mediante password, la cui indicizzazione è impedita da file robot.txt.

The Proprietary Web: si tratta di spazi accessibili solo dopo l’identificazione del visitatore.

The Truly Invisible Web: in queste pagine, qualsiasi indicizzazione è resa impossibile da formati sconosciuti, dalla struttura o dalle dimensioni straordinarie delle informazioni contenute

Tra le perle da salvare a ogni costo c’è The Internet Archive (www.archives.org). Questo immenso archivio contiene non meno di 85 miliardi di pagine Internet, le più antiche delle quali non sono più ritenute esistenti dai motori di ricerca tradizionali. E proprio questa la missione del sito: tutelare la memoria di Internet!

L’archivio conserva tutti i documenti comparsi su Internet dal 1996.

Tra i sistemi di ricerca più noti, Google non poteva certo ignorare il Web invisibile. Se il suo motore generalista (per definizione) non lo prende in considerazione, il colosso ha comunque sviluppato altre funzioni poco conosciute che permettono di scovare nella rete delle reti documenti veramente straordinari.Proviamo per esempio a usare comandi come “filetype:doc confidenziale” oppure, nel ricercare un’informazione, a utilizzare un termine più preciso come “inurl:parola chiave da cercare”.