Bewertung: 5 / 5

Stern aktivStern aktivStern aktivStern aktivStern aktiv
 

Wordpress ist weltweit das beliebteste Blog-System. Einfache Bedienung und gute Übersichtlichkeit sprechen für sich. Ein paar Handgriffe muss man nun doch manuell durchführen. Google, Bing und Co. verlangen eine robots.txt um die seite richtig zu crawlen. Leider bringt der Wordpress Core keine Möglichkeit mit diese anzulegen. Hier einige Tipps dazu ...

Was ist eine robots.txt

Web Robots oder auch Spider genannt, sind webbasierende Programme, die meist in regelmäßigen Abständen Hypertext Dokumente und die dort verlinkten Dokumente indizieren. Meist werden diese Programme von Suchmaschinen verwendet, um Seiten zu indizieren und die eigenen Datenbanken zu aktualisieren.

In manchen Fällen kann es aber von Vorteil sein, wenn diese Robots bestimmte Bereiche einer Website nicht indizieren. Dies kann zum Beispiel eine noch nicht veröffentlichte Seite sein, oder Bereiche einer Website, die sich sowieso laufend ändern. Um dies zu gewährleisten, legt man eine Datei an, in der dem Robots mitgeteilt wird, von welchen Bereichen sie sich fern halten sollen. Es hängt jedoch vom Robot ab, ob er diese Information verwendet und danach handelt.

Dabei wird mit "User-agent" immer der Crawler angesprochen und mit "Disallow" und "Allow" die Adressen oder Parameter die erlaubt beziehungsweise verboten werden. So kann man beispielsweise mit Disallow: /wp-admin/ Crawlern verbieten Dateien des Wordpress Backends zu indizieren.

Warum brauche ich eine robots.txt?

Eine solche Datei bringt viele Vorteile. Mit hilfe dieser Dateien lassen sich Verzeichnisse und auch Parameter vor Suchmaschinen verstecken. So vermeidet man Doppelten Content, welcher von Suchmaschinen bemängelt wird. In den Webmastertools kann man unter "Optimierungen > HTML Verbesserungen" Probleme mit Parametern entlarven.

Auch der Hinweis auf die Sitemap kann die indizierung der eigenen Seite vorantreiben. Mit dem Vermerk Sitemap: http://www.DeineWebseite.de/sitemap.xml weiß jeder Crawler direkt wo er ein Inhaltsverzeichnis für die Webseite findet und kann schneller arbeiten.

Wie lege ich eine robots.txt an?

Ganz einfach. Mit einem FTP-Tool auf den Server verbinden und im Wurzelverzeichnis eine neue txt-datei anlegen. Dort kopiert man dann den entsprechenden Text hinein. Fertig. Die Datei muss zum Schluss über "http://www.DeineSeite.de/robots.txt" aufrufbar sein.

Joomla 3.7 wurde veröffentlicht

Joomla 37 Update

Am 25. April wurde die neuste Version des beliebten CMS Joomla veröffentlicht. Lang erwartet wurden die mehr als 700 Verbesserungen und 1300 Änderungen am System.

Read more

Joomla $nsvilbn Hack

Joomla Wordpress Hacked

Auf ein paar Webseiten unserer Kunden ist ein neuer Hack ähnlich dem base64_decode Hack aufgetaucht. Auch dieser scheint sich über eine eingeschleuste Datei auf dem gesamten Webspace zu verbreiten. In...

Read more

Joomla Update 3.6.1 veröffentlicht

Joomla 3.6.1 Update

Nicht lang nach der Veröffentlichung des großen Updates auf Joomla 3.6 erschien heute das kleine Update auf Joomla 3.6.1. Neben zahlreichen BugFixes schließt es aber auch ein paar Sicherheitslücken.

Read more

Joomla 3.6 kommt mit Neuerungen in Backe…

Joomla 3.6 Update

Das neue Joomla 3.6 wurde heute veröffentlicht und bietet einige neue Features für das Backend. So bringt Joomla einige Verbesserungen für die Verwaltung und User-Experience.

Read more

Joomla 3.5.1 Bugfix veröffentlicht

Joomla Bugfix

Knapp zwei Wochen nach Veröffentlichung der neuen Joomla Version 3.5 erscheint ein Bugfix Release.

Read more

Joomla 3.5 ist verfügbar

Joomla 3.5 Update veröffentlicht

Nun ist es soweit – Joomla 3.5 ist veröffentlicht worden. Eine Revolution ist es nicht, bringt aber doch einige Verbesserungen und neue Features mit. Beim Aktualisieren ist jedoch Vorsicht geboten...

Read more

Updates und Bug fixes für Wordpress 4 un…

Joomla 3 Updates Wordpress 4 Updates

Nachdem im Update-Wahnsinn nun etwas Ruhe eingekehrt ist, möchten wir etwas Licht ins Dunkle bringen – was war da eigentlich los bei Joomla? Update nach Update nach Update?!?

Read more

Update für Wordpress und Joomla veröffen…

Joomla und Wordpress Update veröffentlicht

Joomla 3.4.6 und 3.5 Beta Heute wurde ein wichtiges Sicherheitsupdate für Joomla 3.4 veröffentlicht. Dabei können Angreifer dem System Code unterjubeln und diesen ausführen. Das Joomla-Team stuft den Schwergrad der Lücke...

Read more

Wordpress mehrsprachig nutzen mit Plugin…

Wordpress Mehrsprachig machen

Es gibt verschiedene Gründe warum eine Wordpress-Installation mehrsprachig genutzt werden soll. Eine Frage sollte man sich aber stellen – will ich selbst übersetzen, oder lasse ich das eine Maschine tun?...

Read more