Eine Optimierte robots.txt zum Aussperren von bösen Bots und zum Senken der Serverlast.

Bytespider ist dafür bekannt, die robots.txt zu ignorieren. Hier hilft nur die serverseitige Sperre. Die anderen kannst du zusätzlich höflich in der robots.txt aussperren:

User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: Amazonbot
User-agent: PetalBot
User-agent: AhrefsBot
User-agent: KeenableBot
Disallow: /

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search?

Sitemap: https://www.MeineWebseite.de/sitemap.xml

In der .htaccess sperren wir die ungewollten Bots wie folgt aus:

# Unerwünschte Bots blockieren
<IfModule mod_rewrite.c>
  RewriteEngine On
  RewriteCond %{HTTP_USER_AGENT} (meta-webindexer|KeenableBot|PetalBot|Bytespider|AhrefsBot|Amazonbot|meta-externalagent) [NC]
  RewriteRule .* - [F,L]
</IfModule>