Robots.txt und Meta Robots Tags sind enorm beeinflussend auf die Indexierung von Suchmaschinen und wenn sie optimiert werden, dann kann ein größerer Erfolg bei der Suche mit Suchmaschinen das Resultat sein. Dabei sollten unterschiedliche SEO-Kriterien beachtet werden. Es handelt sich um die Optimierung des Contents und die Generierung von Links.
Ebenfalls spielen auch die robots.txt und Meta Robots Tags eine gewichtige Rolle bei der Suchmaschinenindexierung. Diese Methode erfordert jedoch Einarbeitung in die Materie und es gilt dabei Fehler bei der Erstellung der robots.txt-Dateien zu vermeiden, denn diese könnten sich später rächen. Eine optimale Möglichkeit besteht darin, eine professionelle Agentur damit zu beauftragen, die SEO-Optimierung Ihrer Webseite professionell aufzusetzen.
Was sind Meta Robot Tags?
Sogenannte Meta Robot Tags sind HTML-Tags, die bestimmte Internetseiten oder Teile davon verbessern und dabei mitwirken, dass sie indexiert werden oder eben nicht. Die elementaren Meta Robot Tags sind follow, index, nofollow und noindex. Beispielsweise die Zusammensetzung index, nofollow sort dann dafür, dass Suchmaschinen die Homepage finden, sie aber nicht die zugehörigen Links nachverfolgen können. Um die Meta Robots Tags in eine Seite einzubinden müssen sie in den Quelltext einer Internetseite eingebunden werden.
Was ist robots.txt?
Bei robots.txt handelt es sich um eine Textdatei, wie die Dateiendung schon sagt, die aus zwei Textfeldern mit einem Doppelpunkt in deren Mitte bestehen. Die Bots von Suchmaschinen (Crawler oder Robots) nutzen die robots.txt Datei dazu, eine Internetseite zu indexieren, weil sie die Datei erkennen und lesen, und daraufhin sich von der Datei sagen lassen, wie die Internetseite vom Bot gecrawlt wird.
Dabei kommt es für die Besitzer von Internetseiten an, genau zu wissen, wie eine solche robots.txt-Datei aufgebaut sein muss, so dass beispielsweise der Googlebot sie auch richtig liest. Dazu gibtes Vorgaben der Robots Exclusion Standard.
Wie erstelle ich eine robots.txt Datei?
Auf der Domain von Webseiten befindet sich der robots.txt auf der obersten Ebene, so dass er direkt vom Crawler gelesen werden kann. Die jeweiligen Daten zu den Verzeichnissen stehen immer nach der Domain und sie haben die Anweisungen „allow“ und „disallow“, die dem Bot erlauben etwas zu tun oder es verbieten. Ein Beispiel dafür, wenn einem Bot etwas verboten werden soll wäre dann:
User-agent: *
Disallow: /
Im Beispiel steht der Stern stellvertretend für alle Bots, der Slash sagt aus, dass alle Dateien des Root-Verzeichnisses davon betroffen sind. Es ist zu empfehlen mit diesem Befehl nur bestimmte Teile der Webseite den Bots vorzuenthalten, da sie die Seite ja generell indexieren sollen. Ein Beispiel für gesperrte teilseiten wäre dann:
User agent: *
Disallow: /maps/
Allow: /maps/home/
So kann der Bot nicht auf alle Bereiche von „maps“ zugreifen, hat jedoch eine Berechtigung für die Unterseite „home“ von „maps“.
Es sollte stets beachtet werden, dass die Befehle für Crawler richtig geschrieben sind, denn vor allem mit der Disallow-Funktion kann es vorkommen, dass bestimmte Bereiche einer Internetseite für den Crawler gesperrt werden, auf die er eigentlich hingewiesen werden soll. Die kann dann dazu führen, dass der Traffic auf der Seite verringert wird, weil sie nicht mehr bei der jeweiligen Suchmaschine gefunden werden kann.
Was noch zu beachten ist
Die oben genannten robots.txt sowie die Meta Robots Tags müssen bestimmte Vorschriften beachten. So haben zum Beispiel die restriktiven Bestimmungen immer Vorfahrt. Wären dazu im robots.txt Crawler auf der Seite unerwünscht mit „noindex“ und in den Meta Robots Tags erwünscht mit „allow“ dann hätte der Befehl der robots.txt die Oberhand, weil er eben restriktiv angelegt ist.
Es gibt sehr viele Möglichkeiten für robots.txt und für Meta Robots Tags, die das SEO einer Internetseite enorm verbessern können. Dieser technische Part einer Internetseite sollte genauso intensiv bearbeitet werden wie die Optimierung des Inhalts und die Verlinkungen. Mit dieser Vorgehensweise ist mehr Traffic durch die verbesserte Auffindbarkeit durch Suchmaschinen auf der eigenen Internetseite möglich.
Es bedarf einiger Zeit, um die beiden genannten Methoden genau zu verstehen und für seine Zwecke einzusetzen, dann aber lässt sich das Crawling der Suchmaschinen partiell kontrollieren und es stellt dadurch ein gutes Instrument zur Verbesserung einer Internetseite dar.
Das könnte interessant sein
 |
Die Erfolge bei der Suchmaschinenoptimierung Welche Erfolge sind eigentlich mit der Suchmaschinenoptimierung möglich? Auf was sollte man ach... |
 |
Kostenlose Suchmaschinenoptimierung für die eigene Seite Nachdem man eine Website veröffentlicht hat, muss man sich auch über die Auffindbarkeit in den S... |