robots.txt für Wordpress

Wie sieht nun die Robots-txt für Wordpress aus? Hier findest du ein Beispiel für eine Robots.txt Datei. Wordpress liefert zwar keine eigene Datei im Paket mit, gibt jedoch Vorschläge wie eine solche Datei aussehen könnte. Im Wordpress Codex fintet sich ein Eintrag zu diesem Problem. Wordpress möchte in seiner robots.txt den Googlebot-Image explizit zulassen und "diggmirror" verbieten. Diese Befehle sind optional.

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:

# digg mirror
User-agent: duggmirror
Disallow: /

# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/
Sitemap: http://www.DeineSeite.de/sitemap.xml