Weitergehende Informationen zu .htaccess-Dateien, wie diese funktionieren, wie Sie diese anlegen und welche Möglichkeiten diese bietet, finden Sie in unserem Blog-Artikel.
Warum wir bestimmte Bots oder User-Agent blockieren
Einige Bots, User-Agent und Crawler werden aus Sicherheitsgründen bei uns standardmäßig blockiert, u.a.
- aufgrund hohen Ressourcen-Verbrauchs (der zulasten Ihrer Webseite geht)
- aufgrund Missbrauchs
Selbstverständlich blockieren wir keine der "großen" Crawler (also nicht Google, Bing etc.).
Wie Sie einem bestimmten Bot oder User-Agent Zugriff auf Ihre Webseite geben
Wenn Sie bestimmten Bots oder User-Agent den Zugriff auf Ihre Webseite gewähren möchten, dann können Sie eine .htaccess-Datei in das Grund-Verzeichnis Ihrer Webseite legen und darin einen oder mehrere Bots/User-Agent erlauben.
Nachfolgend finden Sie dazu beispielhaft eine Syntax (bitte ersetzen Sie darin noch den Namen des Bots NAME_DES_BOTS bzw. den Namen des User-Agent NAME_DES_USER-AGENT):
Für Bots
SetEnvIfNoCase User-Agent .*NAME_DES_BOTS.* search_robot
Order Deny,Allow
Deny from All
Allow from env=search_robot
Sie können dabei die Zeile mit SetEnvIfNoCase wiederholen, wenn Sie mehrere Bots erlauben möchten:
SetEnvIfNoCase User-Agent .*NAME_DES_BOTS_1.* search_robot
SetEnvIfNoCase User-Agent .*NAME_DES_BOTS_2.* search_robot
Für User-Agent
SetEnvIfNoCase User-Agent .*NAME_DES_USER-AGENT.* search_robot
Order Deny,Allow
Deny from All
Allow from env=search_robot
Sie können dabei die Zeile mit SetEnvIfNoCase wiederholen, wenn Sie mehrere Bots erlauben möchten:
SetEnvIfNoCase User-Agent .*NAME_DES_USER-AGENT_1.* search_robot
SetEnvIfNoCase User-Agent .*NAME_DES_USER-AGENT_2.* search_robot