Comment bloquer les crawlers d'IA sur votre serveur

Savoir à quels crawlers vous avez affaire

Les principaux, en octobre 2026, d'après la documentation de chaque opérateur. Certains sont des crawlers ; d'autres ne sont que des jetons robots.txt qui contrôlent l'usage des données collectées par un autre crawler.

Décidez selon l'usage. Bloquer les crawlers d'entraînement tient votre contenu à l'écart des futurs jeux d'entraînement ; bloquer aussi la recherche par IA et les récupérations pour un utilisateur retire votre site de ces réponses, et des visites qu'elles amènent. Pour voir lesquels atteignent votre serveur, comptez les user agents dans le log d'accès :

sudo awk -F'"' '{print $6}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20

Leur demander de rester à l'écart avec robots.txt

Placez un robots.txt à la racine de chaque hôte que vous voulez couvrir (chaque sous-domaine a le sien). Plusieurs lignes User-agent peuvent partager une même règle :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
Disallow: /

Cette liste bloque l'entraînement et laisse la recherche tranquille. Ajoutez OAI-SearchBot, Claude-SearchBot et PerplexityBot pour rester aussi en dehors de la recherche par IA. Gardez en dessous vos règles existantes pour les autres crawlers, et n'écrivez jamais User-agent: * avec Disallow: /, sauf si vous voulez aussi disparaître de Google et de Bing.

Ce que robots.txt ne peut pas faire

• C'est une demande. Les crawlers qui le respectent s'arrêtent ; les autres non, et rien ne vous dit lesquels sont lesquels.
• Les récupérations déclenchées par un utilisateur peuvent ne pas l'appliquer, de l'aveu même de leurs opérateurs.
• Les modifications prennent du temps : les opérateurs mettent le fichier en cache, souvent jusqu'à une journée.
• Un scraper qui cache son nom ou se fait passer pour un navigateur n'est pas concerné du tout.

Bloquer par user agent dans nginx ou Apache

Le serveur web peut refuser les crawlers qui s'annoncent. Cela les arrête même s'ils ignorent robots.txt, tant qu'ils gardent leur nom.

nginx

Le map va dans le contexte http : les fichiers de /etc/nginx/conf.d/ y sont inclus par les paquets de Debian, d'Ubuntu et de la famille RHEL.

sudo tee /etc/nginx/conf.d/ai-crawlers.conf > /dev/null <<'EOF'
map $http_user_agent $ai_crawler {
    default 0;
    ~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|PerplexityBot) 1;
}
EOF

Ajoutez ensuite ceci dans chaque bloc server qui doit les refuser, dans /etc/nginx/sites-available/ sur Debian et Ubuntu ou /etc/nginx/conf.d/ sur la famille RHEL :

if ($ai_crawler) {
    return 403;
}

Testez la configuration, rechargez et vérifiez : le premier curl doit afficher 403, le second 200 (remplacez example.com par votre site).

sudo nginx -t && sudo systemctl reload nginx
curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot/1.2" https://example.com/
curl -s -o /dev/null -w "%{http_code}\n" https://example.com/

Apache

Avec mod_rewrite, dans chaque <VirtualHost> (celui du port 80 comme celui du port 443) ou dans le .htaccess du site. Les règles de réécriture de la configuration principale ne s'appliquent pas aux virtual hosts.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|meta-externalagent|PerplexityBot) [NC]
RewriteRule ^ - [F]

sudo a2enmod rewrite
sudo apachectl configtest && sudo systemctl reload apache2

sudo apachectl configtest && sudo systemctl reload httpd

Vérifier les vrais robots par DNS inverse

N'importe qui peut envoyer User-Agent: Googlebot. Les scrapers le font pour passer les règles qui autorisent les moteurs de recherche. Un vrai crawler se confirme par un DNS inverse confirmé dans le sens direct : l'adresse se résout en un nom dans le domaine de l'opérateur, et ce nom se résout à son tour vers la même adresse.

sudo apt install -y bind9-host

sudo dnf install -y bind-utils

ip=66.249.66.1
name=$(host "$ip" | awk '/pointer/ {print $NF; exit}' | sed 's/\.$//')
echo "$name"
host "$name" | awk '{print $NF}' | grep -qxF "$ip" && echo "confirmed" || echo "NOT confirmed"

• Googlebot : googlebot.com ou google.com. Bingbot : search.msn.com. Applebot : applebot.apple.com. CCBot : crawl.commoncrawl.org.
• Un nom dans un autre domaine, ou qui ne se résout pas vers l'adresse de départ, est un faux.

OpenAI, Anthropic, Perplexity et Common Crawl publient plutôt les plages d'adresses de leurs crawlers en JSON (les liens se trouvent dans la documentation de chaque opérateur). Ce script vérifie une adresse par rapport à une telle liste :

python3 - 20.171.207.10 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "Mozilla/5.0"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print("in the list" if any(ip in n for n in nets) else "NOT in the list")
EOF

Ces mêmes listes JSON peuvent être chargées dans un bloc geo de nginx ou dans le pare-feu, si vous voulez n'autoriser que les vrais crawlers qui utilisent un nom donné.

Limiter le débit des crawlers

Une limitation de débit fonctionne quel que soit le nom que se donne un crawler, et protège le serveur de ceux qui crawlent trop vite. Dans nginx, cette configuration limite chaque adresse dont le user agent ressemble à un robot à 30 requêtes par minute, avec une courte rafale ; les autres visiteurs ne sont pas comptés, car une clé vide n'est pas limitée.

sudo tee /etc/nginx/conf.d/bot-limit.conf > /dev/null <<'EOF'
map $http_user_agent $bot_key {
    default "";
    ~*(bot|crawler|spider|scraper) $binary_remote_addr;
}
limit_req_zone $bot_key zone=bots:10m rate=30r/m;
limit_req_status 429;
EOF

Puis, dans les blocs server ou location des pages dynamiques, et rechargez comme plus haut :

limit_req zone=bots burst=10 nodelay;

Apache n'a pas de limite de requêtes par adresse en natif (mod_ratelimit limite la bande passante). Les options habituelles sont mod_evasive, une jail fail2ban sur le log d'accès, ou nginx ou un CDN placé devant.

Quand un crawler ignore tout

Si un crawler ignore robots.txt et change de user agent, bloquez au pare-feu les adresses qu'il utilise (remplacez la plage d'exemple) :

sudo ufw insert 1 deny from 198.51.100.0/24

sudo firewall-cmd --permanent --zone=drop --add-source=198.51.100.0/24
sudo firewall-cmd --reload

Questions

Bloquer les crawlers d'IA nuit-il à mon référencement Google ?

Pas si vous bloquez les bons noms. Selon Google, Google-Extended dans robots.txt n'a pas d'effet sur la recherche Google. Bloquer Googlebot, ou un motif qui lui correspond, en a un.

robots.txt suffit-il ?

Pour les crawlers qui le respectent, oui. Il ne fait rien contre ceux qui l'ignorent ou cachent leur nom : c'est pour cela qu'existent les règles sur le user agent et la limitation de débit.

Faut-il bloquer aussi les crawlers de recherche par IA ?

Cela dépend de votre envie d'apparaître dans les réponses des IA. Les bloquer tient votre contenu à l'écart de ces réponses et vous prive des visites qu'elles amènent. Beaucoup de sites bloquent les crawlers d'entraînement et autorisent la recherche.