Bot o browser? È più importante di quanto pensiate
Quando un utente visita il vostro sito web, il browser invia decine di segnali: lingua, risoluzione, cookie, eventi JavaScript. Un bot, invece, solitamente non invia nulla di tutto ciò, oppure invia troppo poco e in modo troppo "pulito". È proprio in questa differenza che sta la chiave per capire chi visita realmente il vostro sito web.
Dove si tradisce un bot
Un vero browser esegue il rendering della pagina, avvia gli script, carica i font e reagisce alle azioni dell’utente. Un bot di solito scarica solo l’HTML – se non addirittura nulla. Le differenze si manifestano nelle intestazioni HTTP, nei dati di fingerprinting e nella velocità e nell’ordine con cui arrivano le richieste.
- Intestazioni HTTP: i bot hanno intestazioni incomplete o generiche, a cui mancano
Accept-Language,Referero non corrispondonoUser-Agent. - Rendering JavaScript – senza l’esecuzione di JS manca il contenuto dinamico, le pagine SPA vengono visualizzate vuote.
- Tempistica e sequenza delle richieste: gli utenti cliccano in modo irregolare, mentre i bot ripetono schemi con precisione al millisecondo.
- Cookie e sessioni – un browser legittimo ricorda la sessione, mentre un bot la ignora o ne crea sempre una nuova.
Cosa significa questo per il vostro CMS o sito web
Se il vostro strumento di analisi o la cache non distinguono i bot dagli utenti umani, avrete dati distorti e un’infrastruttura inutilmente sovraccarica. Una corretta configurazione robots.txt, il rilevamento lato server e l’analisi dei log vi forniranno un quadro reale del traffico. Vi interessa sapere come fare concretamente? Date un’occhiata ai nostri strumenti e consigli.