Nella giornata di oggi Google ha reso disponibile (in lingue inglese) una utile documentazione che spiega nel dettaglio come funzionano il crawling e l’indicizzazione di un sito web.

Nello specifico viene spiegata la differenza tra i due aspetti, come utilizzare il file robots.txt, il meta tag robots, quali sono i diversi crawler di Google e come riconoscerli.

Nulla di particolarmente innovativo ma senz’altro una guida utile per approfondire nel dettaglio queste tematiche. La potete trovare a questo indirizzo: http://code.google.com/intl/it-IT/web/controlcrawlindex/