Rund um die Uhr durchsuchen sogenannte Crawler das Internet nach Webseiten. Diese Bots werden von den jeweiligen Suchmaschinen losgeschickt und erfassen möglichst viele Seiten und Unterseiten (Indexierung), um sie für die Suche verfügbar zu machen. Damit die Crawler Ihre Website gut auslesen können, müssen sie geleitet werden. So vermeiden Sie, dass Inhalte Ihrer Seite indexiert werden, die für Suchmaschinen irrelevant sind, und stellen sicher, dass der Crawler nur die Inhalte ausliest, der er auslesen soll.
Für diese Steuerung können Sie die robots.txt verwenden. Bei WordPress und anderen CMS bestimmen Sie mit dieser Datei, welche Bereiche Ihrer Website von den Crawlern erfasst werden und welche nicht. Über die robots.txt können Sie Bots ausschließen oder zulassen und auch genaue Unterscheidungen treffen, welche Suchmaschinen welche Einträge finden und dann in der Suche ausspielen. Da jede Domain nur ein limitiertes Crawling-Budget hat, ist es umso wichtiger, die Hauptseiten zu pushen und unbedeutende Unterseiten aus dem Suchvolumen zu nehmen.