Bots

Les listes#

Chaque serveur télécharge une fois par jour deux listes publiques de bots, directement auprès de leurs éditeurs :

• crawler-user-agents (MIT) : moteurs de recherche, outils SEO, scanners, supervision, aperçus de liens et plus encore ;
• ai.robots.txt (MIT) : robots d'exploration d'IA.

Ensemble, elles reconnaissent environ 1 500 bots. La page Bots les regroupe en catégories : moteurs de recherche, outils SEO, robots d'IA, scanners, supervision, publicité, aperçus de liens, lecteurs de flux, bibliothèques HTTP, automatisation de navigateur, archiveurs et recherche.

Autoriser, journaliser seulement, bloquer#

Pour chaque catégorie, et pour chaque bot pris isolément, choisissez Autoriser, Journaliser seulement ou Bloquer, ou laissez un bot Suivre la catégorie et une catégorie Suivre la liste. La page explique chaque catégorie : ce que c'est, le risque, et ce qui se passe si vous la bloquez. Elle affiche aussi les bots Vus sur vos serveurs (7 derniers jours).

• Bloquer bannit l'adresse du bot au niveau du pare-feu, pour la durée de bannissement définie dans Paramètres › Agent. Si Autoriser les modifications de la configuration du serveur web est activé, l'agent refuse aussi les bots bloqués dans nginx ou Apache, d'après leur user agent.
• Journaliser seulement signale le bot, au plus une fois par heure pour chaque couple adresse et bot.
• Autoriser les laisse passer, après avoir vérifié qu'un bot qui se présente comme un moteur de recherche en est bien un.

Bloquer les moteurs de recherche retire vos sites des résultats de recherche ; la page vous avertit avant que vous le fassiez.

Faux robots de moteurs de recherche#

Les attaquants se font souvent passer pour Googlebot. Pour 18 bots connus (Googlebot et les autres robots de Google, Bingbot, Yahoo, Yandex, Baidu, Applebot, DuckDuckBot, Facebook, LinkedIn, Twitter, Pinterest, Ahrefs et Semrush), l'agent vérifie l'adresse par DNS inverse confirmé : l'adresse doit se résoudre vers le domaine du bot, et ce nom à nouveau vers la même adresse. Un bot qui échoue est signalé comme usurpé. Les résultats sont mis en cache pendant 24 heures.

Bots inconnus#

Un user agent qui semble automatisé (bot, crawler, spider, curl, wget, python-requests et similaires) mais ne figure dans aucune liste est signalé comme bot inconnu, pour que vous décidiez quoi en faire.

Sous un panneau d'hébergement#

Quand un panneau d'hébergement gère la configuration du serveur web, les bots bloqués sont toujours bannis au niveau du pare-feu ; seul le blocage par user agent dans le serveur web est omis.