Il file robots.txt è un file speciale proprio come il file .htaccess.
Tuttavia, ha uno scopo molto diverso: il file robots.txt è creato espressamente per i motori di ricerca come Google e Bing, ma possono includere anche altri bot.
E’ noto che i motori di ricerca trovano tutte le pagine e i contenuti del tuo sito Web eseguendo la scansione, passando da una pagina all’altra tramite i collegamenti nella pagina stessa o nella mappa del sito. Ciò consente loro di raccogliere dati dal tuo sito web.
Tuttavia, potrebbero esserci alcune pagine su un sito Web di cui non si desidera che i bot eseguano la scansione. Il file robots.txt ti offre la possibilità di specificare quali pagine possono visitare e quali non devono essere sottoposte a scansione.
Bisogna tenere presente che le istruzioni fornite nel file robots.txt non sono vincolanti. Ciò significa che, sebbene bot affidabili come il crawler di ricerca di Google rispetteranno le limitazioni in robots.txt, alcuni bot probabilmente ignoreranno tutto ciò che si inserisce ed eseguiranno comunque la scansione del sito web. Altri potrebbero persino usarlo per trovare i collegamenti che non si desidera sottoporre a scansione e quindi eseguirne la scansione.
Fondamentalmente, non è consigliabile fare affidamento su questo file per impedire ai bot dannosi di raschiare il sito web.
Il file robots.txt deve essere collocato nella directory principale del sito web.
Usa una serie di comandi per farlo.
Alcuni di questi comandi che si utilizzeranno molto spesso sono User-Agent, Allow, e Disallow.
Il comando User-Agent identificherà i bot a cui si desidera applicare il set corrente di comandi Allow e Disallow. Si può impostarlo con * per scegliere come target tutti i bot. Si può restringere l’elenco dei bot specificando valori solo per Googlebot e Bingbot. Ce ne sono molti altri là fuori nella rete e anche provenienti da diverse aziende che vogliono prendere di mira il sito per i più diversi scopi.
Il comando Allow dà la possibilità di specificare la pagina web o la directory sul sito web a cui i bot possono accedere liberamente. Bisonga, comunque, tenere sempre presente che tutti i valori specificati devono essere rispetto alla directory principale.
Il comando Disallow, d’altra parte, dice ai bot che non dovrebbero eseguire la scansione della directory o delle pagine web elencate.
È consentito solo per fornire una directory o una pagina web per ogni comando Allow o Disallow. Tuttavia, si possono utilizzare più comandi Allow e Disallow all’interno dello stesso set.
Ecco un esempio:
User-Agent: *
Disallow: /uploads/
Disallow: /includes/
Allow: /uploads/images/
Disallow: /login.php
Nell’esempio sopra, abbiamo detto ai bot che non dovrebbero eseguire la scansione dei contenuti della directory dei caricamenti. Tuttavia, utilizziamo il comando Allow per dire loro di eseguire la scansione della sottodirectory delle immagini trovata all’interno dei caricamenti.
Bisogna, inoltre tenere presente che i valori forniti fanno distinzione tra maiuscole e minuscole. I bot tratteranno uploads e UPLOADS come riferimento a directory diverse.
Il file robots.txt può anche contenere collegamenti a una o più sitemap sul sito web. Ciò rende più facile per i bot trovare tutti i post e le pagine di cui si desidera che vengano sottoposti a scansione.
Il robots.txt e WordPress
È importante fare attenzione quando si crea un file robots.txt da abbinare ad un sito WordPress. Questo perché piccoli errori o sviste possono impedire la scansione dei contenuti del sito da parte dei motori di ricerca. Tutto il lavoro SEO sarà vano se i motori di ricerca non riescono nemmeno a scansionarlo.
Una buona regola è quella di rifiutare il meno possibile. Un approccio consiste nell’inserire quanto segue nel file robots.txt. Questo in pratica dice a tutti i bot che sono liberi di eseguire la scansione di tutti i contenuti del sito web:
User-agent: *
Un’altra opzione è utilizzare la versione seguente, che dice loro di evitare la scansione della directory wp-admin ma di eseguire comunque la scansione di tutti gli altri contenuti del sito web. Forniamo anche un collegamento alla mappa del sito del sito Web in questo esempio, ma è del tutto facoltativo.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpSitemap: https://ilmiositoweb/sitemap.xml
È importante non essere troppo aggressivi con il comando Disallow e bloccare l’accesso ai file CSS o JavaScript che potrebbero influire sull’aspetto del contenuto sul front-end. Al giorno d’oggi, i motori di ricerca esaminano anche molti altri aspetti di una pagina Web come il suo aspetto o la facilità d’uso del layout prima di determinare come classificare il contenuto. Bloccare loro l’accesso ai file CSS o JavaScript causerà problemi prima o poi.