Dimperl.org :: Waechterblog

Jeder kennt das Problem mit Spam. Ob das nun im eigenen Blog oder Forum ist oder das eMail-Postfach ist wieder randvoll mit den tollsten Angeboten zu Viagra und Co. Das wäre ja noch nicht mal das Problem. Ärgerlicher ist da schon, wenn die eigene Performance unter den vielen Anfragen von Spiders, Robots, Harvester und Bots leidet. Es gibt einige sehr hartnäckige Vertreter dieser Gattung, die die eigene Website schon mal mit bis zu 1.000 Anfragen pro Minute traktieren, was deutlich zu Lasten der eigenen Ressourcen geht. Die Webseite wird langsamer und die Ladezeiten steigen ins unermessliche. Ein Graus für jeden Besucher, der irgendwann entnervt abbricht und weiter zieht. So einen User wird man dann wohl nie wieder sehen.

Was also kann man dagegen tun und wie kann man sich effektiv wehren?

Es gibt eine einfache und sehr effektive Lösung, wenn man seine Seiten auf einem Apache Webserver betreibt. Man kann mittels htaccess ein paar Regeln festlegen und diese dann ins Root-Verzeichnis seiner Seite legen. Die Möglichkeiten reichen von der Sperrung bestimmter IP Adressen von bekannten Spammern etc. oder eben Regeln.

Hier mal ein Beispiel, wie man eine solche Regel anlegt, um “böse” Bots auszusperren:

# Böse Bots aussperren spart Traffic und Nerven

RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Baidu [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:craftbot@yahoo.com [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR]
RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR]
RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR]
RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR]
RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR]
RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR]
RewriteCond %{HTTP_USER_AGENT} ^HMView [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} Indy\ Library [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR]
RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR]
RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR]
RewriteCond %{HTTP_USER_AGENT} ^JOC\ Web\ Spider [OR]
RewriteCond %{HTTP_USER_AGENT} ^larbin [OR]
RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR]
RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR]
RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR]
RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR]
RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^NPBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Explorer [OR]
RewriteCond %{HTTP_USER_AGENT} ^Offline\ Navigator [OR]
RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR]
RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR]
RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR]
RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR]
RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR]
RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR]
RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR]
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR]
RewriteCond %{HTTP_USER_AGENT} ^Twiceler [OR]
RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR]
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^libwww-perl/5.80[0-9]. [OR] #schliesst libwww-perl/5.800 bis libwww-perl/.809 aus
RewriteCond %{HTTP_USER_AGENT} ^Yandex [OR]
RewriteCond %{HTTP_USER_AGENT} ^ZipppBot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule ^.* - [F]

Ein zweites Beispiel zeigt Euch, wie man über die IP Adresse viele Spammer usw. aussperren kann:

Order allow,deny
Allow from all
Deny from 85.17.173.8

deny from 74.86.209.74
deny from 74.53.249.34
deny from 216.40.222.98
deny from 216.40.220.18
deny from 216.40.220.34
deny from 75.125.52.146
deny from 216.40.222.50
deny from 75.125.47.162
deny from 208.101.44.3
deny from 70.85.113.242
deny from 216.40.222.82
deny from 67.19.250.26
deny from 74.86.249.98
deny from 208.66.195.5
deny from 208.66.195.4
deny from 74.86.14.10
deny from 208.53.147.89
deny from 208.66.195.9
deny from 208.66.195.11
deny from 208.66.195.6
deny from 208.66.195.7
deny from 208.66.195.2
deny from 208.66.195.10
deny from 67.19.114.226
deny from 208.66.195.8
deny from 67.218.116.168
deny from 93.158.149.31

Wenn Ihr euch also nun eine solche .htaccess Datei anlegt mit beiden oben genannten Beispielen und diese dann in das Root-Verzeichnis Eures Webspaces kopiert, dann habt Ihr schon mal einen sehr guten Schutz und die Performance Eurer Seite sollte spürbar wachsen (vorausgesetzt, Ihr hattet Probleme mit dieses Spammern und Datenkraken).
Ein sicherer Schutz ist das natürlich nicht und Performance-Probleme können natürlich auch an der Hardware oder einer falschen Konfiguration liegen. Schaden kann so eine Maßnahme aber nicht. Doch auch hier gilt – IP Adressen ändern sich oder es kommen neue hinzu. Man sollte von Zeit zu Zeit auf den einschlägigen Seiten nachsehen und seine .htaccess Datei anpassen oder erweitern.
Was man aber auch gar keinen Fall tun sollte, ist den Googlebot auszusperren oder andere große Suchspiders wie Yahoo oder MSN. Tut man dies, ist man sehr schnell raus, aus den vorderen Trefferseiten bzw. man schafft es erst gar nicht da hin, denn dann können auch die “Großen” nicht mehr auf Eure Seite zugreifen und irgendwann fliegt man dann dort aus dem Index.

Ich habe eine fertige .htaccess – Datei ins untere Zip-Archiv gepackt zum sofortigen Einsatz. Wenn jemand schon eine .htaccess – Datei benützt, dann einfach die Daten per Drag & Drop in die vorhandene einfügen, da ansonsten die Daten der alten .htaccess überschrieben werden.

Ich hoffe, Euch hat der Artikel gefallen und Ihr fandet ihn hilfreich. Über Kommentare und Anmerkungen und weitere Tipps würde ich mich sehr freuen. So kann ich diesen Artikel weiter aktuell halten.

Download: htaccess.zip (Zip Archiv)