Creare file robots txt

CREARE FILE ROBOTS TXT

Hai sviluppato un sito web o E-commerce e vuoi conoscere come creare file robots txt ? Oppure vuoi conoscere se hai il file robots txt e a cosa serve questo tipo di file ? Vediamo insieme di darti le spiegazioni che cerchi, in maniera più chiara possibile.

Cosa è il file Robots txt ?

Se ti stai chiedendo cosa sia il file robots txt, probabilmente hai problemi con delle scansioni di alcune pagine del tuo sito, da parte dei motori di ricerca.

Perchè il file robots.txt è proprio un file che contiene direttive che indicano ai motori di ricerca quali parti del nostro sito possono scansionare e quali, invece, non devono scansionare.

La bravura di un consulente SEO, consiste proprio nel compilare tale file in modo che i crawler possano accedere ai contenuti importanti del sito e, al tempo stesso, limitando la scansione dei contenuti meno importanti(Come l’accesso al Backoffice).

Quale tipo di estensione utilizzare per generare questo strumento? La risposta è nel nome stesso, deve essere un file di testo semplice.

Nello specifico, deve essere codificato in UTF-8 e diviso per righe in modo da semplificare la lettura.

In linea di massima devono essere applicate tutte le regole utili per avere un robots.txt leggero, Google applica un limite massimo al peso di questo file che è di 500 Kb.

Dove si trova il file Robots txt ?

Il file robots.txt si trova nella root del sito web che hai costruito o meglio nella cartella dove hai costruito il sito.

https://www.nomesito.it/robots.txt

Quindi, come trovare l’URL del robots.txt?

L’esempio che trovi in alto è rappresentativo.

Se è stato configurato e inserito a regola d’arte basta digitare, dopo il dominio di secondo o terzo livello, il nome del file in questione.

Da qui facciamo altre precisazioni: il nome file sarà sempre tutto minuscolo (quindi non puoi avere ROBOTS.TXT o rOBots.txt) e puoi creare un documento per ogni sottodominio del tuo sito internet o progetto web.

Tipo:
https://www.nomesito.it/cartella/robots.txt

Come si crea il file Robots txt ?

Puoi creare il tuo file robots.txt manualmente o anche utilizzando alcuni strumenti online gratuiti.

Attenzione però quando lo crei sia manualmente che con degli strumenti, in quanto un errata creazione di tale file ti può implicare l’errato accesso al sito stesso, in quanto come detto in precedenza, il file robots txt permette o meno l’accesso a determinate parti del sito o a tutto il sito.

Crea il file Robots txt Manualmente

Le regole base per scrivere le istruzioni di un file roborts.txt sono piuttosto semplice si basano su una serie di comandi essenziali.

Ti lascio un primo esempio di robots.txt.

User-agent: *
Disallow: 

Il comando User-Agent indica a quale spider applicare le istruzioni. Con l’asterisco si indica che le istruzioni si applicano a tutti, se hai delle esigenze specifiche puoi consultare quelle dei vari motori.

Ad esempio:

• Google
• Bing

La riga Disallow suggerisce cosa impedire ai veri user-agent.

Qui puoi inserire directory e pagine che vuoi nascondere all’attenzione del motore di ricerca. Queste sono le istruzioni, ad esempio, per evitare che Google indicizzi le immagini inserite in una determinata cartella:

User-agent: Googlebot-Image
Disallow: /media-immagini/
Allow: /media-immagini/foto-bella.jpg

Il comando finale con il termine Allow consente, all’interno di quella determinata directory, di indicizzare una singola immagine.

Ricorda che l’asterisco è un carattere jolly (o wildcard) che significa “tutto” in diverse condizioni. Ecco un esempio:

User-agent: *
Disallow: /*.doc$

Per tutti gli user agent (prima riga con asterisco) dobbiamo evitare la scansione di un determinato tipo di file, vale a dire quelli con estensione .doc.

Il secondo asterisco serve proprio a definire questo, tutti i file in qualsiasi posizione che riguardano il formato .doc.

Mentre il simbolo del dollaro indica che la regola comprende solo quel tipo di estensione, il .docx è escluso.

Alcune regole sul file robots.txt che devono essere rispettate:

• il nome del file deve essere in minuscolo e mai in maiuscolo (robots.txt e non ROBOTS.TXT);
• il file deve essere posizionato nel percorso principale del sito – avremo un url del genere: http://www.miosito.it/robots.txt (dove al posto di miosito.it andrà inserito il nome del proprio sito);
• se abbiamo dei sottodomini, ognuno di essi deve avere il proprio file robots.txt;
• possiamo commentare le singole istruzioni, in modo da ricordare più facilmente le regole inserite. Per farlo utilizziamo il carattere # .

Crea il file Robots txt Tramite servizi online

Il primo sito web che ti consiglio è TOOLS SEO BOOK, un sito web che mette a disposizione il tool per creare un file robots facilmente.

Gli strumenti del tools sono:

1. Default robots access: qui si definisce l’accesso predefinito degli spider (selezionando Allow all robots l’accesso è consentito di default a tutti gli spider; selezionando Disallow all robots, al contrario, vietiamo l’accesso al sito a tutti gli spider);
2. Additional rules: qui inseriamo le istruzioni specifiche del file robots.txt, come vedremo fra poco;
3. Sitemap (optional): qui è possibile scrivere il percorso della Sitemap, in modo da inserirla nel file robots.txt (questo ci assicura una migliore scansione da parte dello spider);
4. Your Robots.txt File: in questo campo comparirà in automatico il file robots.txt, in base ai dati che abbiamo inserito nelle prime tre sezioni.

Scriviamo il file robots.txt, lasciando selezionato “Allow all robots” nella sezione Default robots access:

In questo modo, a meno di ulteriori istruzioni più specifiche, tutti gli spider possono accedere all’interno del sito (possono accedere a tutte le pagine e a tutti gli elementi come immagini, pdf, video, ecc).

Nella Sezione 2, invece, vediamo come funziona l’inserimento delle istruzioni robots su Additional robots.txt.

Lo strumento si divide in tre elementi:

1) Action: definisce se vogliamo vietare o permettere l’accesso dello spider ad un determinato elemento (rispettivamente Disallow o Allow);
2) Robot: qui indichiamo lo spider al quale è diretta l’istruzione (lasciando “all” è diretta a qualsiasi spider);
3) File o directories: definiamo quale file o cartella del sito è oggetto delle istruzioni robots.

Se imposti la regola “Disallow” (vieti l’accesso) per tutti gli spider (“all”) e indichi la cartella /administrator/ che è oggetto del divieto (è importante iniziare con / e chiudere, se è una cartella, con un altro /).

Clicchi quindi sul pulsante “Add” e vedi comparire la regola nel file robots.txt.

Puoi anche creare un’altra regola cliccando add.

Allo stesso modo possiamo permettere l’accesso a determinati elementi, tramite l’istruzione “Allow”.
Ipotizziamo di voler permettere l’accesso dello spider Googlebot-Image al file /administrator/immagine.jpg del sito (http://www.miosito.it/administrator/immagine.jpg). Ricordiamo che prima l’accesso alla cartella principale /administrator/ è stato vietato a tutti gli spider:

In questo modo sarà possibile accedere, esclusivamente per lo spider Googlebot-Image, ad un file contenuto all’interno della cartella /administrator/ .

A questo punto copiamo il testo in un file nel formato txt e codifica UTF-8, nominiamolo come robots.txt e inseriamolo nel percorso principale del sito (http://www.miosito.it/robots.txt).

Il secondo SITO che ti consiglio è TOOLSET robots, un sito che genera robots.txt automaticamente, qui dovrai mettere meno indicazioni, forse se non conosci molto, per te è più adatto.

Verifica il file Robots txt 

Per verificare il file creato sul tuo sito web, ti basta uno strumento offerto dalla Search Console di Google, sempre molto utile.

Quindi vai sulla pagina ufficiale (google.com/robots-testing-tool) e scegliere una delle proprietà aggiunte, vale a dire un sito web che hai inserito nel servizio della Search Console.

Il tool mostra i vari comandi e in basso puoi inserire la pagina web che vuoi controllare per verificare se per caso le istruzioni bloccano l’indicizzazione. 

Verde tutto ok, rosso hai qualche problema.

Contattami Per sviluppare il tuo E-commerce con Una Pianificazione Seo Adeguata al progetto o Per qualsiasi dubbio i consigli non si pagano!