Wie oben bereits beschrieben, ist eine Möglichkeit, warum Inhalte von den Crawlern der Suchmaschine nicht gefunden und indexiert werden, die Zugangsbeschränkung durch ein Login bzw. die Abfrage eines Passworts. Auch die Zustimmung zu Nutzungsbedingungen oder eine Bezahlschranke können Hindernisse sein. In all diesen Fällen erreichen auch Sie als Nutzer die URL nur, wenn Sie vorher ein Passwort eingegeben oder der Zahlung zugestimmt haben.
Es gibt aber auch noch einen anderen Fall im Deep Web. Dabei können Sie die Seite aufrufen, sofern die URL bekannt ist – der Crawler einer Suchmaschine findet und indexiert sie aber dennoch nicht. Die Gründe dafür sind vielfältig:
Zum einen können Webmaster gezielt mit dem Nofollow-Befehl Inhalte von der Indexierung ausschließen. Zum anderen besteht die Möglichkeit, dass eine Seite innerhalb einer Webpräsenz so versteckt ist, dass der Crawler diese nicht findet. Für jede Website hat der Crawler nämlich nur ein bestimmtes „Seiten-Budget“ – ist dieses ausgeschöpft und es gibt immer noch Seiten auf einer darunterliegenden Ebene, werden diese nicht berücksichtigt. Eine dritte Möglichkeit sind fehlende technische Voraussetzungen für die Indexierung – beispielsweise, wenn Flash verwendet wird.