Cómo bloquear los rastreadores de IA en tu servidor

Saber con qué rastreadores estás tratando

Los principales, a octubre de 2026, según la documentación de cada operador. Algunos son rastreadores; otros son solo tokens de robots.txt que controlan cómo se usan los datos de otro rastreador.

Decide según la finalidad. Bloquear los rastreadores de entrenamiento mantiene tu contenido fuera de futuros conjuntos de entrenamiento; bloquear también la búsqueda con IA y las descargas por cuenta de usuarios deja tu sitio fuera de esas respuestas, y de las visitas que generan. Para ver cuáles llegan a tu servidor, cuenta los user agents del log de accesos:

sudo awk -F'"' '{print $6}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20

Pedirles que no entren con robots.txt

Coloca un robots.txt en la raíz de cada host que quieras cubrir (cada subdominio tiene el suyo). Varias líneas User-agent pueden compartir una misma regla:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
Disallow: /

Esta lista bloquea el entrenamiento y deja en paz la búsqueda. Añade OAI-SearchBot, Claude-SearchBot y PerplexityBot para quedarte también fuera de la búsqueda con IA. Mantén debajo tus reglas actuales para otros rastreadores, y no escribas nunca User-agent: * con Disallow: / salvo que también quieras desaparecer de Google y Bing.

Lo que robots.txt no puede hacer

• Es una petición. Los rastreadores que lo respetan se detienen; los demás no, y nada te dice cuál es cuál.
• Los rastreadores que actúan a petición de un usuario pueden no aplicarlo, según sus propios operadores.
• Los cambios tardan: los operadores guardan el archivo en caché, a menudo hasta un día.
• Un scraper que oculta su nombre o se hace pasar por un navegador no queda cubierto en absoluto.

Bloquear por user agent en nginx o Apache

El servidor web puede rechazar a los rastreadores que se identifican. Esto los detiene aunque ignoren robots.txt, siempre que mantengan su nombre.

nginx

El map va en el contexto http: los paquetes de Debian, Ubuntu y la familia RHEL incluyen ahí los archivos de /etc/nginx/conf.d/.

sudo tee /etc/nginx/conf.d/ai-crawlers.conf > /dev/null <<'EOF'
map $http_user_agent $ai_crawler {
    default 0;
    ~*(GPTBot|ClaudeBot|CCBot|meta-externalagent|PerplexityBot) 1;
}
EOF

Después añade esto dentro de cada bloque server que deba rechazarlos, en /etc/nginx/sites-available/ en Debian y Ubuntu o en /etc/nginx/conf.d/ en la familia RHEL:

if ($ai_crawler) {
    return 403;
}

Prueba la configuración, recarga y comprueba: el primer curl debe devolver 403 y el segundo 200 (sustituye example.com por tu sitio).

sudo nginx -t && sudo systemctl reload nginx
curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot/1.2" https://example.com/
curl -s -o /dev/null -w "%{http_code}\n" https://example.com/

Apache

Con mod_rewrite, dentro de cada <VirtualHost> (tanto el del puerto 80 como el del 443) o en el .htaccess del sitio. Las reglas de reescritura de la configuración principal no se aplican a los virtual hosts.

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|ClaudeBot|CCBot|meta-externalagent|PerplexityBot) [NC]
RewriteRule ^ - [F]

sudo a2enmod rewrite
sudo apachectl configtest && sudo systemctl reload apache2

sudo apachectl configtest && sudo systemctl reload httpd

Verificar los bots reales por DNS inverso

Cualquiera puede enviar User-Agent: Googlebot. Los scrapers lo hacen para saltarse las reglas que dejan pasar a los buscadores. Un rastreador real se confirma con DNS inverso confirmado en sentido directo: la dirección se resuelve a un nombre del dominio del operador, y ese nombre se resuelve de vuelta a la misma dirección.

sudo apt install -y bind9-host

sudo dnf install -y bind-utils

ip=66.249.66.1
name=$(host "$ip" | awk '/pointer/ {print $NF; exit}' | sed 's/\.$//')
echo "$name"
host "$name" | awk '{print $NF}' | grep -qxF "$ip" && echo "confirmed" || echo "NOT confirmed"

• Googlebot: googlebot.com o google.com. Bingbot: search.msn.com. Applebot: applebot.apple.com. CCBot: crawl.commoncrawl.org.
• Un nombre de otro dominio, o uno que no se resuelve de vuelta a la dirección, es falso.

OpenAI, Anthropic, Perplexity y Common Crawl publican en cambio los rangos de direcciones de sus rastreadores en JSON (los enlaces están en la documentación de cada operador). Esto comprueba una dirección contra una de esas listas:

python3 - 20.171.207.10 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "Mozilla/5.0"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print("in the list" if any(ip in n for n in nets) else "NOT in the list")
EOF

Esas mismas listas JSON se pueden cargar en un bloque geo de nginx o en el firewall, si quieres dejar pasar solo a los rastreadores reales que usan un nombre determinado.

Limitar las peticiones de los rastreadores

Un límite de peticiones funciona se llame como se llame el rastreador, y protege el servidor de los que rastrean demasiado rápido. En nginx, esto limita a 30 peticiones por minuto, con una breve ráfaga, cada dirección cuyo user agent parece de un bot; los demás visitantes no se cuentan, porque una clave vacía no se limita.

sudo tee /etc/nginx/conf.d/bot-limit.conf > /dev/null <<'EOF'
map $http_user_agent $bot_key {
    default "";
    ~*(bot|crawler|spider|scraper) $binary_remote_addr;
}
limit_req_zone $bot_key zone=bots:10m rate=30r/m;
limit_req_status 429;
EOF

Después, en los bloques server o location de las páginas dinámicas, y recarga como antes:

limit_req zone=bots burst=10 nodelay;

Apache no tiene un límite de peticiones por dirección propio (mod_ratelimit limita el ancho de banda). Las opciones habituales son mod_evasive, una jail de fail2ban sobre el log de accesos, o nginx o una CDN delante.

Cuando un rastreador lo ignora todo

Si un rastreador ignora robots.txt y cambia de user agent, bloquea en el firewall las direcciones que usa (sustituye el rango de ejemplo):

sudo ufw insert 1 deny from 198.51.100.0/24

sudo firewall-cmd --permanent --zone=drop --add-source=198.51.100.0/24
sudo firewall-cmd --reload

Preguntas

¿Bloquear los rastreadores de IA perjudica mi posicionamiento en Google?

No, si bloqueas los nombres correctos. Según Google, Google-Extended en robots.txt no afecta a la Búsqueda de Google. Bloquear Googlebot, o un patrón que coincida con él, sí la afecta.

¿Basta con robots.txt?

Para los rastreadores que lo respetan, sí. No sirve de nada contra los que lo ignoran u ocultan su nombre, y por eso existen las reglas por user agent y los límites de peticiones.

¿Debo bloquear también los rastreadores de búsqueda con IA?

Depende de si quieres aparecer en las respuestas de IA. Bloquearlos deja tu contenido fuera de esas respuestas y te hace perder las visitas que generan. Muchos sitios bloquean los rastreadores de entrenamiento y permiten los de búsqueda.