robots.txt für Joomla

Auch für Joomla gibt es Empfehlungen für eine robots.txt. Joomla bringt diese allerdings bereits von haus aus mit. Änderungen sind also selten notwendig. Joomla gibt keine weiteren Richtlinien herraus welche Crawler ausgesperrt oder explizit zugelassen werden sollen. Somit erhalten wir folgende datei:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Sitemap: http://www.DeineSeite.de/sitemap.xml