Wenn ihr in euren Apache-Logfiles auch haufenweise Zugriffe von irgendwelchen komischen Bots habt, die nur Traffic und Last erzeugen, dann kann ich euch mal meine Badbotliste empfehlen. Das ist eine Apache-Konfigurationsdatei mit Rewrite-Regeln, die entweder in einer konkreten .htaccess-Datei oder innerhalb einer Apache-Konfigurationsdatei über Include eingebunden werden kann.
In der Liste sind verschiedene reguläre Ausdrücke mit Useragent-Strings enthalten, die einfach ein 403 Forbidden bekommen wenn sie mit einem der Useragents versuchen eine Ressource aufzurufen.
Alternativ könnt ihr die RewriteRule natürlich auch so anpassen, dass eine benutzerdefinierte Informationsseite kommt auf der aufgeklärt wird, warum man nicht auf die Webseite zugreifen darf. In der Regel ist das aber unnötig da kein normaler Besucher mit einem normalen Browser von den regulären Ausdrücken gematcht wird.
