InfraFenceInfraFence

Live Security Operations

Começar

Bots

Como o InfraFence reconhece cerca de 1.500 bots a partir de listas públicas, desmascara falsos bots de buscadores com DNS reverso e permite liberar, registrar ou bloquear cada categoria ou bot.

Última atualização:

As listas

Cada servidor baixa uma vez por dia duas listas públicas de bots, direto de quem as publica:

Juntas, elas reconhecem cerca de 1.500 bots. A página Bots os agrupa em categorias: buscadores, ferramentas de SEO, crawlers de IA, scanners, monitoramento, publicidade, prévias de links, leitores de feed, bibliotecas HTTP, automação de navegador, arquivamento e pesquisa.

Permitir, só registrar, bloquear

Para cada categoria, e para cada bot individual, escolha Permitir, Só registrar ou Bloquear, ou deixe um bot em Seguir a categoria e uma categoria em Seguir a lista. A página explica cada categoria: o que é, o risco e o que acontece se você a bloquear. Ela também mostra os bots Vistos nos seus servidores (últimos 7 dias).

  • Bloquear bane o endereço do bot no firewall, pela duração de banimento definida em Configurações › Agente. Se Permitir alterações na configuração do servidor web estiver ativado, o agente também recusa os bots bloqueados dentro do nginx ou do Apache pelo user agent.
  • Só registrar reporta o bot, no máximo uma vez por hora para cada endereço e bot.
  • Permitir deixa os bots entrarem, depois de verificar que um bot que diz ser um buscador realmente é um.

Bloquear os buscadores tira seus sites dos resultados de busca; a página avisa você antes que você faça isso.

Falsos bots de buscadores

Atacantes costumam se passar pelo Googlebot. Para 18 bots conhecidos (o Googlebot e os outros crawlers do Google, Bingbot, Yahoo, Yandex, Baidu, Applebot, DuckDuckBot, Facebook, LinkedIn, Twitter, Pinterest, Ahrefs e Semrush), o agente verifica o endereço com DNS reverso confirmado: o endereço precisa resolver para o domínio do bot, e esse nome de volta para o mesmo endereço. Um bot que falha é reportado como falsificado. Os resultados ficam em cache por 24 horas.

Bots desconhecidos

Um user agent que parece automatizado (bot, crawler, spider, curl, wget, python-requests e similares), mas não está em nenhuma lista, é reportado como bot desconhecido, para que você decida o que fazer com ele.

Com um painel de hospedagem

Quando um painel de hospedagem controla a configuração do servidor web, os bots bloqueados continuam sendo banidos no firewall; só o bloqueio pelo user agent dentro do servidor web fica de fora.