DenisDesign

Il file robots.txt è un semplicissimo file di testo, che contiene al suo interno delle regole utilizzate dagli spider dei Motori di Ricerca per applicare delle restrizioni di analisi sulle determinate pagine del vostro Blog.
La creazione di un file robots.txt per WordPress è fondamentale per la corretta indicizzazione del vostro Blog e per evitare penalizzazioni da parte dei Motori di Ricerca, a causa dei contenuti duplicati.

In questa semplice ma utile guida vorrei spiegarvi come definire le regole ed ottimizzare al meglio il vostro file robots.txt.

La prima linea del nostro file deve specificare quali Robots dovranno seguire le regole impostate.
Utilizzando l’asterisco “*” le regole saranno valide per tutti i Robots.

User-agent: *

Direi di cominciare con il bloccare l’indicizzazione delle pagine e file presenti nella vostra directory di WordPress. Sono file che contengono la struttura del vostro Blog e non contenuti.

Disallow: /wp-
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /cgi-bin/

Principalmente WordPress usa la cartella /wp-content/uploads/ per archiviare le immagini, file pdf, file video e audio correlate ad ogni articolo. Visto che in precedenza abbiamo bloccato l’accesso a /wp-content/ e tutte le sottocartelle dobbiamo abilitare l’accesso specifico alla cartella /uploads/, per permettere l’indicizzazione della Directory dovete inserire questo comando:

Allow: /wp-content/uploads/

Per evitare che i Motori di Ricerca indicizzino contenuti duplicati che, sé fossero indicizzati, potrebbero penalizzare l’intero Blog.
Impostiamo alcune semplici regole:

Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/
Disallow: */feed/
Disallow: */trackback/
Disallow: */comments/

Inoltre è possibile bloccare l’indicizzazione degli URL che contengono querystring, come ad esempio: http://www.denisdesign.net/?s=keyword
Per impedire che questi vengano indicizzati utilizzate seguenti comandi:
Disallow: /*?*
Disallow: /*?

Abbiamo quasi finito!
Voglio farvi notare altre due regole un po’ più delicate per evitare l’indicizzazione di contenuti duplicati. Sto parlando dei Tag e Categorie.
Utilizzate questa opzione sé associate spesso numerosi Tag ad ogni Articolo e ad ogni Articolo che è associato a più categorie.
Disallow: /tag/
Disallow: /category/

Utilizzate questa opzione se la quantità dei Articoli supera quella dei Tag e ad ogni Articolo che è associato esclusivamente ad una categoria.
Allow: /tag/
Allow: /category/

Ricordatevi di segnalare ai Robots la presenza del file Sitemap.xml

Per esempio: http://www.denisdesign.net/sitemap.xml

Terminato con le impostazioni delle regole, sarà sufficiente salvarlo come robots.txt e caricarlo nella “root” del Blog.

Ecco un esempio del file robots.txt ottimizzato per WordPress, pronto per essere utilizzato. Vi basterà copiarlo.
User-agent: *

Disallow: /wp-
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /cgi-bin/

Allow: /wp-content/uploads/

Disallow: /feed/
Disallow: /trackback/
Disallow: /comments/
Disallow: */feed/
Disallow: */trackback/
Disallow: */comments/

Disallow: /*?*
Disallow: /*?

Disallow: /tag/ (opzionale)
Disallow: /category/ (opzionale)
Sitemap: http://www.nomeblog.com/sitemap.xml

Scarica file robots.txt ottimizzato per WordPress