COME TESTARE UN FILE ROBOTS TXT

COME TESTARE UN FILE ROBOTS TXT

Hai creato il file robots.txt e vuoi capire come testare un file robots txt ? Farlo è facilissimo vediamo come farlo e come capire se ci sono eventuali errori nella sintassi del file robots txt.

Cosa è il file robots.txt ?

Brevemente, il file robots.txt è un elemento fondamentale e troppo spesso trascurato per un sito web di successo, nonché un aspetto imprescindibile di ottimizzazione SEO tecnica. 

Serve per fornire indicazioni ai motori di ricerca al fine di indicizzare o meno alcune pagine, questo per un motivo di sicurezza, specialmente per gli e-commerce, in quanto non dovresti indicizzare le pagine che contengono:

– L’accesso al backoffice
– I dati dei clienti
– In pratica tutte quelle che riguardano la sicurezza del sito stesso

Impedire che un contenuto venga scansionato significa che il motore di ricerca non potrà leggere cosa c’è all’interno di una pagina.

Se non potrà leggerlo, quel contenuto non potrà mai essere indicizzato, perché non ci sono le informazioni necessarie per farlo.

Per cui, se un contenuto non è indicizzato, non potrà essere posizionato, e quindi non sarà mai visibile nei risultati di ricerca.

Se ti occorre leggi anche:

– Come geneare file robots txt per E-commerce

– Crea file robots txt

Dove va inserito il file robots.txt ?

l robots.txt è unico per ciascun sito e il protocollo richiede che venga inserito all’interno della root del sito.

Se il robots.txt viene inserito in un’altra folder, o con un altro nome, questo verrà ignorato dai crawler.

nomedominio.tld/robots.txt

Facciamo un esempio pratico. Supponiamo di dover impostare il robots.txt del dominio esempio.it.

La prima cosa che dobbiamo chiederci è: dove risiede il sito principale? Esistono altri sottodomini che fanno riferimento ad altri siti?

– Se abbiamo un unico dominio principale, come www.esempio.it, il robots.txt dovrà essere accessibile al seguente indirizzo: www.esempio.it/robots.txt.

– Se abbiamo due o più sottodomini, per esempio www. e shop (o qualsiasi altro sottodominio). dovremo creare due diversi robots.txt, che saranno rispettivamente: www.esempio.it/robots.txt e shop.esempio.it/robots.txt.

– Se il sito è in più lingue gestite tramite folder, come www.esempio.it/it/ per l’italiano e www.esempio.it/en/ per l’inglese, il robtos.txt deve essere unico: www.esempio.it/robots.txt.

– Se inserissimo il robots.txt come www.esempio.it/it/robots.txt, il file verrebbe ignorato.

Come testare il file robots.txt ?

Esistono innumerevoli strumenti gratuiti di test del robots.txt online.

Ciò che vi raccomandiamo fortemente è di affidarsi sempre a strumenti autorevoli e ufficiali, come lo strumento di test del robots.txt di Google.

Per poterlo utilizzare bisogna avere accesso alla proprietà di Google Search Console del sito web.

Qui sarà quindi possibile verificare le impostazioni attualmente live e provare ad effettuare modifiche (che per essere definitive dovranno però essere impostate nel file robots.txt sul server o tramite plugin del CMS).

Per fare un check, basterà inserire il path di una URL e verificare se le regole impostate consentono o meno la scansione di quella pagina.

Di solito se il colore è VERDE il risultato è tutto OK.

Se il risultato è ROSSO abbiamo qualche problema e devi esaminare quale sia il problema e devi assolutamente correggerlo.

Contattami Per sviluppare il tuo E-commerce con Una Pianificazione Seo Adeguata al progetto o Per qualsiasi dubbio i consigli non si pagano!