InfraFenceInfraFence

Live Security Operations

Inizia

Bot

Come InfraFence riconosce circa 1.500 bot da liste pubbliche, smaschera i falsi bot dei motori di ricerca con il reverse DNS e ti fa consentire, registrare o bloccare ogni categoria.

Ultimo aggiornamento:

Le liste

Ogni server scarica una volta al giorno due liste pubbliche di bot, direttamente da chi le pubblica:

Insieme riconoscono circa 1.500 bot. La pagina Bot li raggruppa in categorie: motori di ricerca, strumenti SEO, crawler AI, scanner, monitoraggio, pubblicità, anteprime dei link, lettori di feed, librerie HTTP, automazione del browser, archiviazione e ricerca.

Consentire, solo registrare, bloccare

Per ogni categoria, e per ogni singolo bot, scegli Consenti, Solo registra o Blocca, oppure scegli Segui la categoria per un bot e Segui la lista per una categoria. La pagina spiega ogni categoria: cos'è, il rischio e cosa succede se la blocchi. Mostra anche i bot Visti sui tuoi server (ultimi 7 giorni).

  • Blocca banna l'indirizzo del bot sul firewall, per la durata dei ban impostata in Impostazioni › Agente. Se Consenti modifiche alla configurazione del web server è attivo, l'agente rifiuta i bot bloccati anche dentro nginx o Apache in base al loro user agent.
  • Solo registra segnala il bot, al massimo una volta all'ora per ogni indirizzo e bot.
  • Consenti li lascia passare, dopo aver verificato che un bot che dice di essere un motore di ricerca lo sia davvero.

Bloccare i motori di ricerca toglie i tuoi siti dai risultati di ricerca; la pagina ti avvisa prima che tu lo faccia.

Falsi bot dei motori di ricerca

Chi attacca si finge spesso Googlebot. Per 18 bot molto noti (Googlebot e gli altri crawler di Google, Bingbot, Yahoo, Yandex, Baidu, Applebot, DuckDuckBot, Facebook, LinkedIn, Twitter, Pinterest, Ahrefs e Semrush) l'agente verifica l'indirizzo con un reverse DNS confermato in avanti (forward-confirmed): l'indirizzo deve risolversi nel dominio del bot, e quel nome di nuovo nello stesso indirizzo. Un bot che non supera la verifica viene segnalato come contraffatto. I risultati restano in cache per 24 ore.

Bot sconosciuti

Uno user agent che sembra automatizzato (bot, crawler, spider, curl, wget, python-requests e simili) ma non è in nessuna lista viene segnalato come bot sconosciuto, così puoi decidere cosa farne.

Sotto un pannello di hosting

Quando la configurazione del web server è gestita da un pannello di hosting, i bot bloccati vengono comunque bannati sul firewall; viene omesso solo il blocco per user agent dentro il web server.