Dieser Beitrag wurde vor über einem Jahr geschrieben. Es kann daher sein, dass er nicht mehr aktuell ist.

Die robots.txt Datei von WordPress bearbeiten

Die robots.txt gibt es natürlich auch in WordPress. Diese Datei liegt bei einer WordPress Installation allerdings nicht, wie sonst üblich, im Hauptverzeichnis der Domain (http://ihre-domain.com/robots.txt). WordPress legt diese Datei virtuell an.

Was bringt die robots.txt?

Mit der Datei robots.txt können wir Suchmaschinen wie zB Google mitteilen, welche Ordner oder Dateien von unserer Domain durchsucht werden dürfen. Sollte eine sitemap.xml vorhanden sein, was in Bezug auf die Suchmaschinen Optimierung ohnehin ratsam ist, können und sollten wir auch diese in die robots.txt eintragen.

Welche Möglichkeiten der Bearbeitung stehen uns zur Verfügung?

Bearbeiten kann man die robots.txt natürlich, wie bei normalen Webseiten ohne ein CMS wie WordPress im Hintergrund auch, manuell indem man eine robots.txt mit dem gewünschten Inhalt erstellt und diese in das Hauptverzeichnis der Domain zB per FTP hochladet. Hat man allerdings keinen direkten Zugriff auf dem Webserver, dann können wir die Datei mittels eines Plugins wie WP Robots Txt virtuell bearbeiten.

Ich würde ohnehin das Plugin vorziehen. Andere Plugins, wie zB Google XML Sitemap, haben über die virtuelle robots.txt die Möglichkeit, ihre Einträge zu machen. Bei einer selbst angelegten Datei müssen wir diese Einträge selbst hinzufügen. Das Plugin WP Robots Txt stellt uns für die Bearbeitung der virtuellen robots.txt unter den Einstellungen im WordPress Dashboard -> Lesen ein Textfeld zur Verfügung, in dem wir die gewünschten Einstellungen vornehmen können.

Wordpress-robots-txt-1

Für reine private Webseiten, welche nicht in den Index der Suchmaschinen aufgenommen werden soll, würde der Eintrage wie folgt aussehen.

User-agent: *
Disallow: /

 

User-agent: * heist in diesem Fall, dass unser Eintrag für alle Suchmaschinen gilt. Mit Disallow: / verbieten wir das komplette durchsuchen unserer Webseite. Das Gegenteil realisieren wir, indem wir / weglassen.

User-agent: *
Disallow:

 

Benutzerdefinierte Ordner oder Seiten, welche wir von den Suchmaschinen ausschließen wollen, fügen wir auf folgende weise hinzu.

User-agent: *
Disallow: /ordner-1
Disallow: /hauptordener/unterordner
Disallow: /seite-1
Disallow: /php-seite.php
Disallow: /html-seite.html

 

Das Prinzip der robots.txt sollte jedem klar sein. Ohne jetzt den Arikel unnötig in die Länge zu ziehen verweise ich auf die Webseite www.robotsgenerator.com, auf wir einen empfohlenen Inhalt der robots.txt für WordPress finden können.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /category
Disallow: /tag
Disallow: /author
Disallow: /trackback
Disallow: /*trackback
Disallow: /*trackback*
Disallow: /*/trackback
Disallow: /*?*
Disallow: /*.html/$
Disallow: /*feed*

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Sitemap: http://www.yoursite.com/sitemap.xml

 

Bei Verwendung des Plugins Google XML Sitemap lassen sie die Zeile Sitemap:… einfach weg, da diese in der virtuellen robots.txt direkt über das Plugin angelegt wird. Auch sonst können sie die Datei natürlich nach belieben bzw. nach ihren Bedürfnissen abändern.


One Response to “Die robots.txt Datei von WordPress bearbeiten”

Schreibe einen Kommentar