La frequenza con la quale Googlebot accede ai siti è variabile ed dipendente dalla importanza del progetto web abbinata alla frequenza di aggiornamento dei contenuti inseriti.
Come tutti i bot, anche quello di Google lascia tracce del suo passaggio che possono essere verificate da appositi tool sul server, script per le statistiche e dai file di log.
Il Bot è facilmente identificabile dal nome e dalla traccia il che solitamente appartiene ad un server di questa lista:
crawl1.googlebot.com 216.239.46.20
crawl2.googlebot.com 216.239.46.39
crawl3.googlebot.com 216.239.46.61
crawl4.googlebot.com 216.239.46.82
crawl9.googlebot.com 216.239.46.234
crawler1.googlebot.com 64.68.86.9
crawler2.googlebot.com 64.68.86.55
crawler14.googlebot.com 64.68.82.138
Per "pilotare" il bot verso le zone del sito che si ha interesse a indicizzare, viene impiegato un filechiamato robot.txt. che appositamente viene creato ad hoc per ogni sito.
Maggiori informazioni sul funzionamento dei bot e sulla la configurazione del robots.txt sono presenti all' indirizzo web:
Http://www.robotstxt.org
Scritto dall'ufficio stampa di Posizionamentoo.com " Posizionamento sito " |
