Come bloccare i crawler AI sul server

Sapere con quali crawler hai a che fare

I principali, a ottobre 2026, dalla documentazione di ciascun operatore. Alcuni sono crawler; altri sono solo token di robots.txt che decidono come vengono usati i dati di un altro crawler.

Decidi in base allo scopo. Bloccare i crawler di addestramento tiene i tuoi contenuti fuori dai futuri dataset; bloccare la ricerca AI e chi apre pagine per gli utenti tiene il sito fuori anche da quelle risposte, e dalle visite che portano. Per vedere quali arrivano sul tuo server, conta gli user agent nel log degli accessi:

sudo awk -F'"' '{print $6}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20

Chiedere di stare alla larga con robots.txt

Metti un robots.txt nella radice di ogni host da coprire (ogni sottodominio ha il suo). Più righe User-agent possono condividere la stessa regola:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
Disallow: /

Questa lista blocca l'addestramento e lascia stare la ricerca. Aggiungi OAI-SearchBot, Claude-SearchBot e PerplexityBot per restare fuori anche dalla ricerca AI. Tieni sotto le regole che hai già per gli altri crawler, e non scrivere mai User-agent: * con Disallow: / se non vuoi uscire anche da Google e Bing.

Cosa robots.txt non può fare

• È una richiesta. I crawler che la rispettano si fermano; gli altri no, e niente ti dice quali sono.
• Chi apre pagine su richiesta di un utente può non applicarlo, per ammissione degli stessi operatori.
• Le modifiche richiedono tempo: gli operatori tengono il file in cache, spesso fino a un giorno.
• Uno scraper che nasconde il suo nome o si spaccia per un browser non è coperto affatto.

Bloccare per user agent in nginx o Apache

Il web server può rifiutare i crawler che si presentano. Così si fermano anche se ignorano robots.txt, finché tengono il loro nome.

nginx

La map va nel contesto http: i file in /etc/nginx/conf.d/ sono inclusi lì dai pacchetti di Debian, Ubuntu e famiglia RHEL.

sudo tee /etc/nginx/conf.d/ai-crawlers.conf > /dev/null <<'EOF'
map $http_user_agent $ai_crawler {
    default 0;
    ~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|PerplexityBot) 1;
}
EOF

Poi aggiungi questo in ogni blocco server che deve rifiutarli, in /etc/nginx/sites-available/ su Debian e Ubuntu o in /etc/nginx/conf.d/ sulla famiglia RHEL:

if ($ai_crawler) {
    return 403;
}

Prova la configurazione, ricarica e verifica: il primo curl deve stampare 403, il secondo 200 (sostituisci example.com con il tuo sito).

sudo nginx -t && sudo systemctl reload nginx
curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot/1.2" https://example.com/
curl -s -o /dev/null -w "%{http_code}\n" https://example.com/

Apache

Con mod_rewrite, dentro ogni <VirtualHost> (sia quello sulla porta 80 sia quello sulla 443) o nel .htaccess del sito. Le regole di rewrite nella configurazione principale non valgono per i virtual host.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|meta-externalagent|PerplexityBot) [NC]
RewriteRule ^ - [F]

sudo a2enmod rewrite
sudo apachectl configtest && sudo systemctl reload apache2

sudo apachectl configtest && sudo systemctl reload httpd

Verificare i bot veri con il DNS inverso

Chiunque può mandare User-Agent: Googlebot. Gli scraper lo fanno per superare le regole che lasciano passare i motori di ricerca. Un crawler vero si conferma con il DNS inverso confermato: l'indirizzo risolve in un nome nel dominio dell'operatore, e quel nome risolve di nuovo nello stesso indirizzo.

sudo apt install -y bind9-host

sudo dnf install -y bind-utils

ip=66.249.66.1
name=$(host "$ip" | awk '/pointer/ {print $NF; exit}' | sed 's/\.$//')
echo "$name"
host "$name" | awk '{print $NF}' | grep -qxF "$ip" && echo "confirmed" || echo "NOT confirmed"

• Googlebot: googlebot.com o google.com. Bingbot: search.msn.com. Applebot: applebot.apple.com. CCBot: crawl.commoncrawl.org.
• Un nome in un altro dominio, o che non risolve di nuovo nell'indirizzo, è un falso.

OpenAI, Anthropic, Perplexity e Common Crawl pubblicano invece gli intervalli di indirizzi dei loro crawler in JSON (i link sono nella documentazione di ciascuno). Questo controlla un indirizzo su una di queste liste:

python3 - 20.171.207.10 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "Mozilla/5.0"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print("in the list" if any(ip in n for n in nets) else "NOT in the list")
EOF

Le stesse liste JSON si possono caricare in un blocco geo di nginx o nel firewall, se vuoi lasciar passare solo i crawler veri che usano un certo nome.

Limitare la frequenza dei crawler

Un rate limit funziona qualunque nome si dia un crawler, e protegge il server da quelli che scansionano troppo in fretta. In nginx questo limita a 30 richieste al minuto, con un breve picco, ogni indirizzo il cui user agent sembra un bot; gli altri visitatori non vengono contati, perché una chiave vuota non è limitata.

sudo tee /etc/nginx/conf.d/bot-limit.conf > /dev/null <<'EOF'
map $http_user_agent $bot_key {
    default "";
    ~*(bot|crawler|spider|scraper) $binary_remote_addr;
}
limit_req_zone $bot_key zone=bots:10m rate=30r/m;
limit_req_status 429;
EOF

Poi, nei blocchi server o location delle pagine dinamiche, e ricarica come sopra:

limit_req zone=bots burst=10 nodelay;

Apache non ha un limite di richieste per indirizzo suo (mod_ratelimit limita la banda). Le opzioni abituali sono mod_evasive, una jail di fail2ban sul log degli accessi, oppure nginx o una CDN davanti.

Quando un crawler ignora tutto

Se un crawler ignora robots.txt e cambia user agent, blocca sul firewall gli indirizzi che usa (sostituisci l'intervallo d'esempio):

sudo ufw insert 1 deny from 198.51.100.0/24

sudo firewall-cmd --permanent --zone=drop --add-source=198.51.100.0/24
sudo firewall-cmd --reload

Domande

Bloccare i crawler AI danneggia il posizionamento su Google?

Non se blocchi i nomi giusti. Secondo Google, Google-Extended in robots.txt non influisce sulla Ricerca. Bloccare Googlebot, o uno schema che lo comprende, sì.

Basta robots.txt?

Per i crawler che lo rispettano, sì. Non fa niente contro quelli che lo ignorano o nascondono il nome, ed è per questo che esistono le regole sullo user agent e i rate limit.

Devo bloccare anche i crawler della ricerca AI?

Dipende se vuoi comparire nelle risposte AI. Bloccarli tiene i tuoi contenuti fuori da quelle risposte e fa perdere le visite che portano. Molti siti bloccano i crawler di addestramento e lasciano passare la ricerca.