Die robots.txt ist eine kleine Textdatei im Stammverzeichnis deiner Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie besuchen dürfen – und welche nicht. Sie ist eine der ersten Dateien, die der Googlebot beim Besuch deiner Website abruft.
Eine falsch gesetzte Regel in der robots.txt kann versehentlich ganze Seitenbereiche – oder im schlimmsten Fall die komplette Website – vom Crawling ausschließen. Wichtig: robots.txt verhindert das Crawling, nicht zwingend die Indexierung. Für einen sicheren Ausschluss aus dem Index ist meist das Meta-Tag noindex die bessere Wahl.
Ja, sie ist öffentlich unter deinedomain.de/robots.txt abrufbar – sensible Bereiche sollten daher nie allein darüber „versteckt“ werden.
Diese Regel blockiert die komplette Website für den jeweiligen Crawler – meist ein versehentlicher, aber schwerwiegender Fehler.
Die robots.txt ist ein mächtiges, aber sensibles Werkzeug. Bei technischen SEO-Checks gehört die Prüfung dieser Datei bei clicklabs immer zu den ersten Schritten – kleine Fehler haben hier große Wirkung.
Teste kostenlos, ob deine Website technisch, inhaltlich und psychologisch auf neue Kunden ausgelegt ist.
Egal ob Website, SEO, Automatisierung oder individuelle Entwicklung – wir finden die passende Lösung für dein Unternehmen.
office@clicklabs.de
0160 90701099
