InfraFenceInfraFence

Live Security Operations

Loslegen

Bots

Wie InfraFence rund 1.500 Bots aus öffentlichen Listen erkennt, gefälschte Suchmaschinen-Bots per Reverse DNS entlarvt und dich jede Kategorie oder jeden Bot erlauben, protokollieren oder blockieren lässt.

Zuletzt aktualisiert:

Die Listen

Jeder Server lädt einmal am Tag zwei öffentliche Bot-Listen herunter, direkt von ihren Herausgebern:

Zusammen erkennen sie rund 1.500 Bots. Die Seite Bots ordnet sie in Kategorien: Suchmaschinen, SEO-Tools, KI-Crawler, Scanner, Monitoring, Werbung, Link-Vorschauen, Feedreader, HTTP-Bibliotheken, Browser-Automatisierung, Web-Archive und Forschung.

Erlauben, nur protokollieren, blockieren

Wähle für jede Kategorie und für jeden einzelnen Bot Erlauben, Nur protokollieren oder Blockieren, oder lass einen Bot Der Kategorie folgen und eine Kategorie Der Liste folgen. Die Seite erklärt jede Kategorie: was sie ist, welches Risiko sie birgt und was passiert, wenn du sie blockierst. Sie zeigt außerdem die Bots, die Auf deinen Servern gesehen (letzte 7 Tage) wurden.

  • Blockieren sperrt die Adresse des Bots an der Firewall, für die Sperrdauer, die unter Einstellungen › Agent eingestellt ist. Ist Änderungen an der Webserver-Konfiguration erlauben eingeschaltet, weist der Agent blockierte Bots zusätzlich in nginx oder Apache anhand ihres User-Agents ab.
  • Nur protokollieren meldet den Bot, höchstens einmal pro Stunde für jede Adresse und jeden Bot.
  • Erlauben lässt den Bot durch, nachdem geprüft wurde, dass ein Bot, der sich als Suchmaschine ausgibt, wirklich eine ist.

Wer Suchmaschinen blockiert, entfernt seine Websites aus den Suchergebnissen; die Seite warnt dich, bevor du es tust.

Gefälschte Suchmaschinen-Bots

Angreifer geben sich oft als Googlebot aus. Für 18 bekannte Bots (Googlebot und die anderen Google-Crawler, Bingbot, Yahoo, Yandex, Baidu, Applebot, DuckDuckBot, Facebook, LinkedIn, Twitter, Pinterest, Ahrefs und Semrush) prüft der Agent die Adresse mit vorwärts bestätigtem Reverse DNS: Die Adresse muss auf die Domain des Bots auflösen und dieser Name wieder auf dieselbe Adresse. Ein Bot, der die Prüfung nicht besteht, wird als gefälscht gemeldet. Die Ergebnisse werden 24 Stunden zwischengespeichert.

Unbekannte Bots

Ein User-Agent, der automatisiert aussieht (bot, crawler, spider, curl, wget, python-requests und Ähnliches), aber in keiner Liste steht, wird als unbekannter Bot gemeldet, damit du entscheiden kannst, was du mit ihm machst.

Unter einem Hosting-Panel

Wenn ein Hosting-Panel die Webserver-Konfiguration verwaltet, werden blockierte Bots trotzdem an der Firewall gesperrt; nur das Blockieren anhand des User-Agents im Webserver entfällt.