Il robots.txt è uno strumento fondamentale messo a disposizione per agevolare i webmaster e fortemente tenuto in considerazione e supportato dai principali motori di ricerca in quanto questo semplice file di testo generabile anche con il bloccono di windows e poi collocato nella root di un sito comunica direttamente con lo spider e i vari bot dei motori indicando ad essi dove e quali pagine o sezioni scandagliare e inserire nelle loro pagine di ricerca e quali no.
Con la corretta impostazione del robots.txt si potrà evitare la generazione di contenuti duplicati, l'indicizzazione nelle pagine di file e documenti che non devono essere visibili ad estranei e velocizzare l'indicizzazione in quando lo spider farà in tempo minore il suo lavoro e sarà da li possibile indicargli la siemap del sito oltre che ovviamente evitare penalizzazioni varie e perdite di page rank.
L'impostazione corretta per creare il robots txt è molto semplice e personalizzabile, aprendo un nuovo file di testo si dovranno creare delle istruzioni dedicate per ciascun spider conosciuto cosi elencabili:
Googlebot (Google)
googlebot-image (Google Image)
googlebot-mobile (Google Mobile)
msnbot (MSN Search)
yahoo-slurp (Yahoo)
yahoo-mmcrawler (Yahoo MM)
yahoo-blogs/v3.9
teoma (Ask/Teoma)
twiceler (Cuil)
robozilla (Dmoz checker)
ia_archiver (Alexa)
baiduspider (Baidu)
Ad esempio nel caso si volesse evitare la diffusione in Google di una cartella contenente immagini basterà creare una stringa:
User-agent: Googlebot-Image
Disallow: /noindicizzarequestadirectory
Qualora non si disponesse di accesso al server è possibile agire lo stesso tramite comandi da porre direttamente nella pagina statica oppure direttamente nei template che gestiscono la generazione di determinate pagine con una semplice riga "meta" per escluderle dai motori:
<meta name="robots" content="noindex,follow"> | <meta name="robots" content="noindex">
O il contrario per dire allo spider di indicizzare:
<meta name="robots" content="index, follow" />
Per indicare la sitemap invece è molto semplice, basta un comando davanti al persorso:
Sitemap: http://www.nome.com/sitemap.xml
N.B. Per la generazione guidata del Robots.txt è possibile utilizzare anche lo strumento apposito presente in Google Webmaster che renderà molto più semplice e corretto lo sviluppo.
A cura dell'ufficio stampa di Posizionamentoo.com ( posizionamento motori di ricerca ) |
