Suchmaschinen im Internet sorgen dafür, dass Menschen auch finden, wonach sie online suchen. Die bekanntesten Suchmaschinen im Internet wie Google oder bing.com bestehen aus einem Crawler, Indexer und Abfragemodul. Wenn die Crawler neue Inhalte im Internet finden, nehmen die Suchmaschinen diese in ihren Index auf. Mit etwas Zeitverzögerung erscheinen die Texte, Bilder oder Videos dann in den Suchergebnissen.
Inhalt:
- Begriffe rund um Suchmaschinen
- Komponenten der Suchmaschinen
- Hyperlinks als Orientierungspunkte für Suchmaschinen
- Suchmaschinen brauchen Inhalte als Futter
- Indexierung in Suchmaschinen mit Verzögerung
- Kommunikation mit Suchmaschinen
1. Begriffe rund um Suchmaschinen
Zu Beginn sind zunächst einige Begriffe rund um Suchmaschinen und Suchmaschinenoptimierung zu klären. Wenn es im folgenden Abschnitt um Suchmaschinen geht, meine ich damit nur die maschinen-gestützte Indexierung von Inhalten einer Webseite oder eines Online-Shops ohne deren redaktionelle Überprüfung. Es geht also im Folgenden nicht um die Sammlung, Überprüfung und Kategorisierung von Webseiten in Webkatalogen oder Verzeichnissen. Letztere ist von der Arbeit der Suchmaschinen deutlich zu unterscheiden und daher eher dem Thema Marketing zuzuordnen.
Suchmaschinen-Betreiber wie Google, MSN oder Yahoo! (um nur die wichtigsten zu nennen) schicken vielmehr ihre Crawler zu jeder Tages- und Nachtzeit durch die unendlichen Weiten des Internets, immer auf der Suche nach neuen und interessanten Inhalten. An diesem Prozess sind Menschen nicht beteiligt und es findet auch keine redaktionelle Überprüfung der gefundenen Inhalte statt.
2. Komponenten der Suchmaschinen
Crawler – auch Spider, Robots oder Bots genannt – durchsuchen das gesamte Internet ständig nach neuen Inhalten. Sie bedienen sich dabei den Hyperlinks auf den Webseiten, an denen sie sich orientieren. Der Indexer verarbeitet die von den Crawlern gesammelten Daten und erstellt daraus einen Index in Form einer Datenbank. Das Abfragemodul der Suchmaschinen ist der Teil, mit dem die Nutzer arbeiten, um eine Suche im Internet durchzuführen. Hier werden die Suchanfragen eingegeben und die entsprechenden Suchergebnisse angezeigt.
3. Hyperlinks als Orientierungspunkte für Suchmaschinen
Die Crawler der Suchmaschinen sind bei ihrer Suche nach neuen Webseiten und neuen Inhalten auf Hyperlinks (abgekürzt: Links) angewiesen, um sich in dem Dickicht des Internets zurechtzufinden. Die Links dienen den Crawlern quasi als Orientierungspunkte, indem sie die Suche nach neuen Webseiten und Inhalten von einem Link zum nächsten durchführen.
Bei den Links setzt daher ein bedeutender Teil der Suchmaschinenoptimierung an, indem man den Crawlern immer die Möglichkeit gibt, die eigene Webseite zu finden und dann auch bis in die Tiefe zu erfassen. Am schnellsten und sichersten finden die Crawler eine neue Webseite, wenn Sie diese bei den Suchmaschinen anmelden und dort gleichzeitig mittels einer standardisierter XML- Datei eine Art Inhaltsverzeichnis hinterlegen.
- Google unter google.com/webmasters;
- Bing unter bing.com/webmasters/about.
Ohne Inhaltsverzeichnis finden die Crawler weitere Unterseiten nur dann, wenn sie anhand interner Links in die Tiefen der Webseite geführt werden. Das ist der Grund, warum interne Links auf einer Webseite nicht zu unterschätzen sind.
Die Meinungen der SEO-Berater hinsichtlich der Wirkung von XML-Inhaltsverzeichnissen ist unterschiedlich. Die Betreiber der Suchmaschinen selbst sagen ganz offen, dass ein XML-Inhaltsverzeichnis keine Auswirkung auf das Ranking einer Webseite in den Suchergebnissen hat. Es ist lediglich eine Hilfe für die Crawler, die Inhalte der Webseite schneller und effektiver einzulesen. Aus diesem Grund macht es aus meiner Sicht keinen Sinn, eine Sitemap manuell zu erstellen, da die hierfür benötigte Zeit sinnvoller in andere SEO-Maßnahmen investiert ist.
4. Suchmaschinen brauchen Inhalte als Futter
Für die Crawler der Suchmaschinen sind nach wie vor größtenteils Textinformationen relevant, weil sie nur diese Informationen verarbeiten können. Geben Sie den Crawlern also Futter, indem Sie ihnen möglichst viele Informationen in Textform zur Verfügung stellen. Auch die Bildersuche von Google orientiert sich in erster Linie an den Dateinamen der Bilder bzw. deren Beschreibung. Mit unbeschrifteten Bildern können Suchmaschinen so gut wie gar nichts anfangen. Finden Crawler auf Ihrer Webseite neue Inhalte, kommen sie auch gerne wieder. Als Betreiber einer Webseite haben sie also einen indirekten Einfluss auf die Häufigkeit der Crawler-Besuche, indem sie regelmäßig neue Inhalte hinzufügen oder bestehende Inhalte aktualisieren.
5. Indexierung in Suchmaschinen mit Verzögerung
Die Verarbeitung der gefundenen Inhalte im Indexer ist noch immer mehr oder weniger ein Geheimnis der Suchmaschinen-Betreiber. Gewiss ist jedoch, dass erfasste Webseiten nicht sofort in den Katalog der Suchmaschinen übernommen werden.
Bei Google werden zeitliche Verzögerungen bis zu 6 Monate als normal betrachtet, wobei dies auch stark vom Thema der Webseite und der Konkurrenz abhängig sein kann. Ferner werden Webseiten nicht in einem Durchgang erfasst, sondern nach einer Art Stufensystem.
Zunächst wird nur die Startseite erfasst und vom Indexer verarbeitet. Erst später werden auch tiefere Ebenen eingelesen und an den Indexer übergeben. Je tiefer also eine Webseite verschachtelt ist, desto länger dauert die vollständige Indexierung aller vorhandenen Inhalte.
In diesem Zusammenhang ist auch darauf hinzuweisen, dass Inhalte in tieferen Ebenen vom Indexer geringer bewertet werden und schon allein deshalb weniger Aussichten auf eine Top-Platzierung in den Suchergebnissen haben.
Die Startseite zählt für die Crawler als Einstiegsseite mit einer Crawlertiefe 0. Von der Startseite abgehende Links führen zur Navigationsebene 1. Weiterführende Links führen dementsprechend zur Navigationsebene 2 und so weiter. Eine sehr wirksame Suchmaschinenoptimierung einer Webseite berücksichtigt die Regel, dass jedweder Content auf der Webseite mit maximal 3 Links von der Startseite aus zu erreichen ist.
6. Kommunikation mit Suchmaschinen
Über eine einfache Textdatei namens robots.txt kann man den Crawlern der Suchmaschinen auch Anweisungen geben, wie sich diese auf Ihrer Webseite zu verhalten haben. Sie können mit einer solchen Textdatei alle oder einzelne Crawler ansprechen oder sogar aussperren. Bei dem Einsatz einer solcher Datei ist jedoch höchste Vorsicht geboten, weil Sie durch einen kleinen Syntax-Fehler verheerende Auswirkungen hinsichtlich der Aufnahme Ihrer Webseite oder Teile davon verursachen können.
Der Einsatz einer robots.txt Datei macht dann Sinn, wenn Sie einzelne Seiten, Verzeichnisse oder ganze Projekte vorläufig davor schützen wollen, dass sie von Crawlern eingelesen werden, weil sie noch nicht fertig gestellt sind. Ein weiteres Anwendungsfeld der robots.txt Datei eröffnet sich für den Schutz privater Bereiche einer Webseite vor dem Einlesen durch Crawler.
Es muss jedoch ganz deutlich gesagt werden, dass eine robots.txt Datei keine technische Hürde für Crawler darstellt. Es ist lediglich eine Anweisung, an die sich Crawler seriöser Suchmaschinen-Betreiber auch halten. Eine wirkungsvolle Sperre für alle Suchmaschinen erreichen Sie dagegen nur durch eine .htaccess Datei in Ihrem Webspace.
