Bewertung: 4 / 5

Stern aktivStern aktivStern aktivStern aktivStern inaktiv
 

Beitragsseiten

Wordpress ist weltweit das beliebteste Blog-System. Einfache Bedienung und gute Übersichtlichkeit sprechen für sich. Ein paar Handgriffe muss man nun doch manuell durchführen. Google, Bing und Co. verlangen eine robots.txt um die seite richtig zu crawlen. Leider bringt der Wordpress Core keine Möglichkeit mit diese anzulegen. Hier einige Tipps dazu ...

Was ist eine robots.txt

Web Robots oder auch Spider genannt, sind webbasierende Programme, die meist in regelmäßigen Abständen Hypertext Dokumente und die dort verlinkten Dokumente indizieren. Meist werden diese Programme von Suchmaschinen verwendet, um Seiten zu indizieren und die eigenen Datenbanken zu aktualisieren.

In manchen Fällen kann es aber von Vorteil sein, wenn diese Robots bestimmte Bereiche einer Website nicht indizieren. Dies kann zum Beispiel eine noch nicht veröffentlichte Seite sein, oder Bereiche einer Website, die sich sowieso laufend ändern. Um dies zu gewährleisten, legt man eine Datei an, in der dem Robots mitgeteilt wird, von welchen Bereichen sie sich fern halten sollen. Es hängt jedoch vom Robot ab, ob er diese Information verwendet und danach handelt.

Dabei wird mit "User-agent" immer der Crawler angesprochen und mit "Disallow" und "Allow" die Adressen oder Parameter die erlaubt beziehungsweise verboten werden. So kann man beispielsweise mit Disallow: /wp-admin/ Crawlern verbieten Dateien des Wordpress Backends zu indizieren.

Warum brauche ich eine robots.txt?

Eine solche Datei bringt viele Vorteile. Mit hilfe dieser Dateien lassen sich Verzeichnisse und auch Parameter vor Suchmaschinen verstecken. So vermeidet man Doppelten Content, welcher von Suchmaschinen bemängelt wird. In den Webmastertools kann man unter "Optimierungen > HTML Verbesserungen" Probleme mit Parametern entlarven.

Auch der Hinweis auf die Sitemap kann die indizierung der eigenen Seite vorantreiben. Mit dem Vermerk Sitemap: http://www.DeineWebseite.de/sitemap.xml weiß jeder Crawler direkt wo er ein Inhaltsverzeichnis für die Webseite findet und kann schneller arbeiten.

Wie lege ich eine robots.txt an?

Ganz einfach. Mit einem FTP-Tool auf den Server verbinden und im Wurzelverzeichnis eine neue txt-datei anlegen. Dort kopiert man dann den entsprechenden Text hinein. Fertig. Die Datei muss zum Schluss über "http://www.DeineSeite.de/robots.txt" aufrufbar sein.

Das TMG wird zum DDG und das TTDSG wird …

Fast jeder Webseitenbetreiber ist vom neuen Digitale-Dienste-Gesetz (DDG) betroffen. Das DDG ist am 14. Mai 2024 in Kraft getreten und ergänzt nicht nur den Digital Services Act der EU, sondern...

Read more

Domains günstig reservieren – in neuen K…

BlueStone Domains - Günstige Domains

Es hat viel Zeit, Geld und Nerven gekostet – aber nun ist es so weit. Wir stellen unser neues Kundenverwaltungssystem vor. Hier finden Sie all Ihre Domains, Webhosting Accounts und...

Read more

Joomla 3.8 wurde veröffentlicht und brin…

Joomla 3.8 Veröffentlicht

Das neue Joomla Routing System Mit Joomla 3.8 wird ein neues Routing-System eingeführt, das mehr Kontrolle über die URL-Struktur gibt. Damit ist es nun endlich möglich, IDs aus den URLs zu...

Read more

Joomla 3.7 wurde veröffentlicht

Joomla 37 Update

Am 25. April wurde die neuste Version des beliebten CMS Joomla veröffentlicht. Lang erwartet wurden die mehr als 700 Verbesserungen und 1300 Änderungen am System.

Read more

Joomla $nsvilbn Hack

Joomla Wordpress Hacked

Auf ein paar Webseiten unserer Kunden ist ein neuer Hack ähnlich dem base64_decode Hack aufgetaucht. Auch dieser scheint sich über eine eingeschleuste Datei auf dem gesamten Webspace zu verbreiten. In...

Read more

Joomla Update 3.6.1 veröffentlicht

Joomla 3.6.1 Update

Nicht lang nach der Veröffentlichung des großen Updates auf Joomla 3.6 erschien heute das kleine Update auf Joomla 3.6.1. Neben zahlreichen BugFixes schließt es aber auch ein paar Sicherheitslücken.

Read more

Joomla 3.6 kommt mit Neuerungen in Backe…

Joomla 3.6 Update

Das neue Joomla 3.6 wurde heute veröffentlicht und bietet einige neue Features für das Backend. So bringt Joomla einige Verbesserungen für die Verwaltung und User-Experience.

Read more

Joomla 3.5.1 Bugfix veröffentlicht

Joomla Bugfix

Knapp zwei Wochen nach Veröffentlichung der neuen Joomla Version 3.5 erscheint ein Bugfix Release.

Read more

Joomla 3.5 ist verfügbar

Joomla 3.5 Update veröffentlicht

Nun ist es soweit – Joomla 3.5 ist veröffentlicht worden. Eine Revolution ist es nicht, bringt aber doch einige Verbesserungen und neue Features mit. Beim Aktualisieren ist jedoch Vorsicht geboten...

Read more
Wir nutzen Cookies auf unserer Website. Diese sind essenziell für den Betrieb der Seite, sogenannte Tracking Cookies werden nicht eingesetzt. Sie können selbst entscheiden, ob Sie die Cookies zulassen möchten. Bitte beachten Sie, dass bei einer Ablehnung womöglich nicht mehr alle Funktionalitäten der Seite zur Verfügung stehen.