Bots

Las listas#

Cada servidor descarga una vez al día dos listas públicas de bots, directamente de quienes las publican:

• crawler-user-agents (MIT): buscadores, herramientas SEO, escáneres, monitorización, vistas previas de enlaces y más;
• ai.robots.txt (MIT): rastreadores de IA.

Juntas reconocen unos 1.500 bots. La página Bots los agrupa en categorías: buscadores, herramientas SEO, rastreadores de IA, escáneres, monitorización, publicidad, vistas previas de enlaces, lectores de feeds, bibliotecas HTTP, navegadores automatizados, archivos web e investigación.

Permitir, solo registrar, bloquear#

Para cada categoría, y para cada bot por separado, elige Permitir, Solo registrar o Bloquear, o deja que un bot use Seguir la categoría y una categoría Seguir la lista. La página explica cada categoría: qué es, el riesgo y qué pasa si la bloqueas. También muestra los bots Vistos en tus servidores (últimos 7 días).

• Bloquear bloquea la dirección del bot en el firewall, durante la duración de bloqueo configurada en Ajustes › Agente. Si Permitir cambios en la configuración del servidor web está activado, el agente también rechaza los bots bloqueados dentro de nginx o Apache por su user agent.
• Solo registrar notifica el bot, como máximo una vez por hora para cada dirección y bot.
• Permitir los deja entrar, después de comprobar que un bot que dice ser un buscador lo es de verdad.

Bloquear los buscadores elimina tus sitios de los resultados de búsqueda; la página te avisa antes de que lo hagas.

Falsos bots de buscadores#

Los atacantes suelen hacerse pasar por Googlebot. Para 18 bots conocidos (Googlebot y los demás rastreadores de Google, Bingbot, Yahoo, Yandex, Baidu, Applebot, DuckDuckBot, Facebook, LinkedIn, Twitter, Pinterest, Ahrefs y Semrush), el agente comprueba la dirección con DNS inverso confirmado: la dirección debe resolverse al dominio del bot, y ese nombre de vuelta a la misma dirección. Un bot que no pasa la comprobación se notifica como suplantado. Los resultados se guardan en caché durante 24 horas.

Bots desconocidos#

Un user agent que parece automatizado (bot, crawler, spider, curl, wget, python-requests y similares) pero no está en ninguna lista se notifica como bot desconocido, para que decidas qué hacer con él.

Con un panel de hosting#

Cuando un panel de hosting gestiona la configuración del servidor web, los bots bloqueados se siguen bloqueando en el firewall; solo se omite el bloqueo por user agent dentro del servidor web.