Warum Sie die Robots.txt & Google Crawlbudget optimieren sollten!
Die Robots.txt ist eine kleine Datei, ein „Spickzettel“ für Google, welche jedoch eine große Rolle im Bereich SEO spielt. Mit ihrer besonderen Bedeutung für die Suchmaschinenoptimierung achtet unsere SEO-Agentur Amida SEO & Marketing darauf, die Robots.txt genau auf die Bedürfnisse Ihrer Webseite hin zu optimieren!
Aber was genau ist die Robots.txt Datei?
Bei dieser Datei handelt es sich lediglich um eine Textdatei, die den Crawlern, typischerweise den Suchmaschinen-Crawlern von Google, die zu überprüfenden Seiten Ihrer Website und die von Ihnen definierten nicht zur Verfügung stehenden Informationen anzeigt. Wenn eine Suchmaschine auf Ihre Seite zugreift, prüft diese zuerst die robots.txt Ihrer Seite nach Anweisungen.
Die „Robots.txt“ hat verschiedene Typen. Einer von ihnen ist der „User-Agent“, dieser gilt für alle Web-Crawler, nicht nur für die Suchmaschinen.Wenn Sie ein „Disallow“ einfügen, weist es den Crawler an, die Seiten bzw. Unterseiten Ihrer Webseite nicht zu besuchen. Es gibt gute Gründe dafür, dass nicht alle Ihre Seiten von den Webcrawlern gecrawlt werden.
Wenn die Spider einer Suchmaschine Ihre Website durchsuchen, besuchen diese gewissermaßen jede Seite Ihrer Webseite. Es kann sich negativ auf Ihr Ranking auswirken, wenn Ihre Webseite Tonnen von unwichtigen oder Seiten mit sogenannten Thin-Content enthält, da es einige Zeit dauert, bis alle Seiten gecrawlt werden.
Bei Google gibt es ein Crawlingbudget, was wiederum bedeuten kann, das beispielsweise unwichtige Seiten wie zum Beispiel durch Tags oder durch interne Suchanfragen generierte Seiten gecrawlt und indexiert werden, Ihre wichtigen Ziel- oder Entscheidungsseiten jedoch nicht oder zumindest nicht oft genug gecrawlt werden und dies schlechte oder gar keine Rankings als Folge hat.
Wenn Sie einen Artikel beispielsweise in WordPress mit Tags versehen, generiert das System eine Seite für dieses Tag, in der alle damit zusammenhängenden Inhalte gesammelt werden. Wenn dieser Tag mit einer Kategorie oder einer Zielseite auf Ihrer Webseite identisch ist, wird dieser darüber hinaus mit diesen konkurrieren. Dies führt zu einem Konflikt, durch den Ihre Seiten an Rankings verlieren können.
Diese Problem im Zusammenhang mit Tags lässt sich beheben, indem Sie diesen einfach entfernen oder einen Meta-Robots-Noindex-Dofollow hinzufügen. Auf diese Weise wissen Suchmaschinen, dass es sich bei den Tags um unwichtige Seiten handelt, sie können jedoch den Links folgen und weiterhin Ihre Webseite crawlen und indizieren.
Das Google Crawl-Budget gibt die Zeit an, die es für das Crawlen einer Webseite zulässt. Das Budget basiert auf einer Durchforstungsgrenze und einer Nachfrage. Wenn Google nun feststellt, dass das Crawlen Ihrer Webseite viel Zeit in Anspruch nimmt und die Benutzererfahrung dadurch beeinträchtigt wird, verlangsamt sich die Geschwindigkeit und der Umfang der Crawls. Dies wirkt sich negativ auf Ihr SEO aus.
Mit einer Robots.txt Datei können Sie steuern, was die Suchmaschinen wann crawlen können. Auf diese Weise können Sie verhindern, dass das Google-Crawler-Budget verschwendet wird. Mit Hilfe der Option „Disallow“ wird der Suchmaschine mitgeteilt, dass diese Seiten nicht indiziert werden sollen, da sie für die Webseite nicht wesentlich sind.
Mit dem ScreamingFrog Log-File Analyser sind Sie außerdem in der Lage, genau nachzuvollziehen, wann, welcher Crawler, welche Seiten besucht. Relativ häufig stellen wir fest, dass nahezu 60% des Google Crawl-Budgets für sogenannte Orphan-Pages, Tag-Pages oder diverse Archive verschwendet wird.
Doppelten Inhalt verhindern!
Die Robots.txt Datei dient auch anderen Zwecken. Eine davon ist, die Anzeige von doppelten Inhalten zu verhindern. Wenn für Ihre Website mehr als eine Kopie des Inhalts erforderlich ist, können Sie verhindern, dass Google Ihre Website aufgrund von doppelten Inhalten bestraft. Sie können die Robots.txt auch verwenden, wenn Sie „under construction“ Seiten ausblenden möchten, damit die Suchmaschine sie nicht indiziert, bevor diese fertig sind.
Robots.Txt-Datei erstellen
SEO-Agentur besteht aus Webdesignern und -entwicklern, die wissen, wie diese Datei ordnungsgemäß erstellt wird, um diese für Suchmaschine zu optimieren. Es ist Teil unserer Aufgabe, Ihre Webseite so zu optimieren, dass Suchmaschinen sie lieben werden, da diese nicht viel Zeit für die Indexierung benötigen. Um mehr darüber zu erfahren, wie wir Sie bei der Optimierung Ihrer Website unterstützen können, wenden Sie sich bitte an unsere SEO-Experten!
