Index ist lateinisch und wird im Zusammenhang mit Kennzeichen und Verzeichnis verwendet. Der Index ist die Widergabe von Stich- und Schlagwörtern in einem gesammelten Verzeichnis. Der bekannteste Index ist der von Google.de. Um in den Index von Google.de aufgenommen zu werden, wird eine Website indexiert. Im Sinne von Websites und damit ein wichtiger Punkt im Online Marketing, ist damit die Aufnahme eines Dokuments (einer Website) in einen Index einer Suchmaschine (Google.de) gemeint. Der Index einer Suchmaschine ist die Auflistung von Internetseiten, die nach Eingabe des Suchbegriffs angezeigt werden.
Suchmaschinen Index
Jede Suchmaschine hat einen eigenen Index der auf seinen Webservern gespeichert ist. Gibt ein User einen Suchbegriff in die Suchmaschinen ein, so vergleicht die Suchmaschine diesen mit den in ihrem Index zusammengetragenen Stich-/schlagwörtern und deren Kombinationen. Der User erhält eine Übersicht des Index, also die Ergebnisse der Suchmaschinenanfrage. Die Liste der Suchergebnisse, die Liste der SERPS (Search Engine Result Page), ist nichts anderes als die visuelle Wiedergabe des Index der betreffenden Suchmaschine.
Indexerstellung
Um einen Index zu füllen bedienen sich Suchmaschinen eines Programms, einem Crawler. Crawler ist der Oberbegriff für einen Bot– oder ein Spider-Programm. Damit ist ein Programm gemeint, das permanent, 24/7, im Internet nach neuen oder auch bestehenden Websites sucht und den Links dieser Website und dann wieder den Links dieser Website usw. folgt. Die Inhalte (der Content) werden bewertet und das Ranking in der Suchmaschine bestimmt. Die Websites, natürlich auch Blogs, Onlineshops usw., werden nach genau festgelegten Kriterien durchsucht und dem Index, also dem Verzeichnis der Suchmaschine, hinzugefügt. Webdokumente werden dabei durchsucht und ausgelesen, im Index gesammelt, sortiert und in einer Hierarchie abgespeichert. Die Ergebnisse werden in einer festgelegten Reihenfolge in den SERPS angezeigt. Desto besser das Keyword und der Content der Website, desto höher wird die Website im Ranking platziert. Alle Suchmaschinenbetreiber arbeiten regelmäßig daran den Index von Websites zu verbessern um dem User bessere und relevantere Ergebnisse anzubieten.
Was macht der Index?
Der von der Suchmaschine erstellte Index lässt das Auffinden von Websites und deren Inhalten schnell von statten gehen. Vergleichbar ist das mit einem Buch und einem Inhaltsverzeichnis, was nichts anderes ist, als zusammengetragene Informationen die indexiert wurden und in einem Index zusammengetragen werden. Bei Websites werden von den Websites Stich- und Schlagwörter gesammelt, die dann in einem Index zusammengefasst, sortiert abgespeichert werden. Die Inhalte, meistens Texte, werden dann nach bestimmten Inhalten oder Stichwörtern aufbereitet damit sie bei der Suche einfacher zu finden sind.
Website ohne Index!?
Der Index spiegelt alle gecrawlten, also erkannten und abgespeicherten Seiten wider die in den Suchergebnissen der jeweiligen Suchmaschine angezeigt und über die SERPS abgerufen werden kann. Eine Website, ein Onlineshop oder ein Blog, der nicht in einem Index gespeichert ist, wird von keiner Suchmaschine, also auch auf keiner SERP, angezeigt. Die Website existiert quasi im Internet nicht und kann nur durch die gezielte Eingabe der URL geöffnet werden.
Website für den Index anmelden
Wer nicht warten möchte bis seine neue oder aktualisierte Website von den Suchmaschinen wie Google.de, Bings.de oder Yahoo.de gefunden wird, hat die Möglichkeiten diese selber einzureichen damit sie gecrawlt, in den Index aufgenommen und schließlich in den SERPS angezeigt wird. Die Einträge in einem Index einer Suchmaschine ist grundsätzlich kostenlos. Nach einreichen der Website wird diese meist unverzüglich gecrawlt und der Status der Indexierung kann vom Websitebetreiber abgerufen werden.
Links für den Index
Im Gegensatz zum Index eines Buchs ist der Index für Websites nicht statisch, sondern höchst dynamisch. Immer neue Seiten die im Internet veröffentlicht werden, werden zum Index hinzugefügt, andere Seiten werden gelöscht und verschwinden somit aus dem Index oder die Inhalte der Seiten ändern sich. Durch das Einsetzen der Crawler werden die Websites immer wieder aufs Neue durchsucht und in den Index aufgenommen und aktualisiert. Dabei verfolgt der Crawler auch Links die auf den einzelnen Website eingefügt sind. Desto mehr „gute“ Links eine Seite hat, heißt für den User Links die einen Mehrwert bereitstellen, desto höher ist die Wahrscheinlichkeit, dass das das Ranking in der Suchmaschine steigt. Nicht nur der führende Suchmaschinenanbieter Google, sondern auch alle anderen bekannten Suchmaschinen wie bings.de oder yahoo.de bedienen sich eines Bots, der nichts anderes zur Aufgabe hat, als Websites zu crawlen, den Links zu folgen und das Ranking zu bestimmen.
Aufbau des Index
Der komplexe Aufbau eines Index beruht nicht nur auf alphabetischen Kriterien (Textinhalten) sondern auch auf inhaltliche Tags, Attribute wie <title>, Bilder, Videos und vieles mehr. Ebenso wird der Index anhand verschiedenster Rankingkriterien aufgebaut. Wie genau die Rankingkriterien festgelegt sind, ist das große Betriebsgeheimnis von allen bekannten Betreibern von Suchmaschinen. Wüsste ein Websitebetreiber wie die Suchmaschinen das Ranking bewerten, so würde eine hohe Platzierung für ihn kein Problem mehr darstellen und die Platzierungen würden so verfälscht werden. Der Index der Suchmaschinen wird aus diesem Grund von allen Betreibern in regelmäßigen Abständen geändert. So versuchen die Suchmaschinenbetreiber zu verhindern, dass kein Websitebetreiber mit unlauteren Methoden das eigene Ranking steigern kann.
Funktionsweise Index
Gibt man einen Suchbegriff in einer Suchmaschine ein, so durchsucht diese nicht das gesamte Internet. Es würde viel zu viel Zeit in Anspruch nehmen Milliarden von Websites, Onlineshops oder Blogs nach dem Suchbegriff (Keyword) zu durchsuchen und Ergebnisse zu liefern. Stand Anfang 2020 waren es ca. 1,8 Milliarden (!) Websites die auf Tausenden von Servern laufen. Vielmehr wird in einem angeleggten Index der Suchmaschine nach dem Suchbegriff gesucht und dem Suchenden das bestmögliche Ergebnis ausgegeben.
Möchte man zum Beispiel wissen, was ein Keyword ist, so gibt man in die Suchleiste „Was ist ein Keyword“ ein und drück die Taste Return. Es gibt unzählige Ergebnisse zu diesem Suchbegriff. Zum Zeitpunkt des Erstellens dieses Beitrags wurden ungefähr 33.900.000.000 Ergebnisse geliefert. Jetzt hilft die Suchmaschine dem User bei der Auswahl, welche Seiten für ihn relevant sind.
Mit Hilfe von vorher festgelegten Kriterien wie zum Beispiel
und des Algorithmus der PageRank, der die Wichtigkeit der Website unter anderem anhand der Anzahl und Bedeutung von externen Links, die auf die Website verweisen, bewertet, werden die Suchergebnisse dem User ausgeliefert. Im Suchergebnis werden unter anderem die URL, der Title der Seite und ein Text-Schnipsel, das Snippet, angezeigt. Am oberen und/oder rechten Rand werden bezahlte Anzeigen (Google Ads oder Bings Ads) mit passender Werbung zum Suchbegriff angezeigt. Der Zielgruppe (dem Suchenden) soll sich angesprochen fühlen und nur Werbeanzeigen angezeigt bekommen, die für ihn interessant sind. Es findet immer eine klare Abgrenzung der organischen Suche und der der bezahlten Suchergebnisse statt.
Arten von Index
Organischer Index
Anhand des organischen Index werden alle Seiten, die dem Index hinzugefügt werden, aufgrund Ihres Inhalts (Text, Bilder, Videos usw.) gefunden und gecrawlt. Die Suchmaschine errechnet dann anhand eines Algorithmus das Ranking der Seite und platziert sie entsprechend. Desto höher das Ranking, desto höher die Stelle an der die Seite in den SERPS, wenn das entsprechende Keyword eingegeben wird, erscheint.
Bezahlter (Paid) Index
Dieser Index setzt sich aus bezahlten Anzeigen zusammen. Bei Google sind das die GoogleAds, bei Bing die Bing Ads. Jeder Betreiber einer Suchmaschinen hat ein solches Programm. Als Websitebetreiber hat man nun die Möglichkeit, durch bezahlten Anzeigen in den SERPS, also in den Suchergebnissen, zu erscheinen, ohne dass die Seite vorher von den Crawlern eine hohe Rankingposition erhalten hat. Je höher die Position im bezahlten Index sein soll, desto höher sind die Preise für die bezahlte Werbeanzeige.
Der Index und SEO
Ziel eines jeden Websitebetreibers ist die hohe Platzierung in dem Index einer Suchmaschine, eine hohe Platzierung in dem Ranking auf den SERPS, den Ergebnissen der Suchanfrage. Websites die erst auf der zweiten, dritten oder vierten Seite der Suchmaschine erscheinen, haben so gut wie keine Chancen angeklickt zu werden. Die Website muss gut strukturiert, mit sehr gutem Content, der dem Besucher einen Mehrwert verspricht, versehen sein und sich an die technischen Richtlinien des jeweiligen Suchmaschinenbetreibers halten.
Index mit der Robot.txt
Die Datei robot.txt ist eine Textdatei die im Stammverzeichnis einer Website eingefügt wird, als erstes vom Crawler gelesen und für ihn Anweisungen bereit enthält. In der robot.txt kann der Websitebetreiber genaustens festlegen, welche Website und welcher Bereich der Website gecrawlt werden soll und welche nicht.
Die Funktionsweise der robot.txt ist nicht, bestimmte Bereiche frei zu geben, sondern eher, bestimmte Bereiche oder Seiten für den Crawler zu sperren. Durch diese Sperrung können Websitebetreiber ohne viel Aufwand eine ganze Domain, einzelne Dateien oder Verzeichnisse von dem Crawlen ausschließen. Die Datei stellt aber keinen umfassenden Schutz vor unberechtigten Zugriff dar.
Neben den genannten Funktionsweisen kann der robot.txt noch ein Verweis zur Sitemap der Website mitgegeben werden, so dass die Sitemap gleich mit in den Index aufgenommen wird und die Suchmaschine direkten Zugriff auf die Informationen der Seite erhält. Dies kann durchaus zur Steigerung des Ranking führen.
Schlüsselbegriffe Index
Crawlen
Als crawlen wird der Prozess bezeichnet, der von den Suchmaschinen mittels eines Bots durchgeführt wird um neue und aktualisierte Seiten aufzufinden, sie aufzurufen und dem Index hinzuzufügen. Vom größten Suchmaschinenanbieter Google werden täglich tausende Computer eingesetzt, die Milliarden von Websites durchsuchen, also crawlen und damit in den Index aufnehmen. Der von Google eingesetzte Bot wird Googlebot genannt.
Indexierung
Das zusammenfügen und speichern der gesammelten Informationen des (Web-)Crawlers.
Spider
Ruft wenige Website im Internet auf die in den Index aufgenommen werden sollen und folgt den Links auf diesen Seiten zu den Seiten, auf die sie verweisen und folgen dann wieder den dortigen Links auf weitere Websites usw. usw.