Weitergehende Informationen zu .htaccess-Dateien, wie diese funktionieren, wie Sie diese anlegen und welche Möglichkeiten diese bietet, finden Sie in unserem Blog-Artikel.
Warum wir bestimmte Bots blockieren
Einige Bots und Crawler werden aus Sicherheitsgründen bei uns standardmäßig blockiert, u.a.
- aufgrund hohen Ressourcen-Verbrauchs (der zulasten Ihrer Webseite geht)
- aufgrund Missbrauchs
Selbstverständlich blockieren wir keine der "großen" Crawler (also nicht Google, Bing etc.).
Wie Sie einem bestimmten Bot Zugriff auf Ihre Webseite geben
Wenn Sie bestimmten Bots den Zugriff auf Ihre Webseite gewähren möchten, dann können Sie eine .htaccess-Datei in das Grund-Verzeichnis Ihrer Webseite legen und darin einen oder mehrere Bots erlauben.
Nachfolgend finden Sie dazu beispielhaft eine Syntax (bitte ersetzen Sie darin noch den Namen des Bots NAME_DES_BOTS usw.):
SetEnvIfNoCase User-Agent .*NAME_DES_BOTS.* search_robot
Order Deny,Allow
Deny from All
Allow from env=search_robot
Sie können dabei die Zeile mit SetEnvIfNoCase wiederholen, wenn Sie mehrere Bots erlauben möchten:
SetEnvIfNoCase User-Agent .*NAME_DES_BOTS_1.* search_robot
SetEnvIfNoCase User-Agent .*NAME_DES_BOTS_2.* search_robot