COME GENERARE FILE ROBOTS TXT PER E-COMERCE
Hai un E-commerce e hai problemi di indicizzazione ? Probabilmente dovresti anche controllare il file robots.txt magari se hai creato questo file erroneamente hai disabilitato qualche pagina, vediamo come generare file robots txt per E-commerce e cosa serve veramente.
Cosa è un file robots txt ?
Un file robots.txt è proprio un file che contiene direttive che indicano ai motori di ricerca quali parti del nostro sito possono scansionare e quali, invece, non devono scansionare.
La bravura di un consulente SEO, consiste proprio nel compilare tale file in modo che i crawler possano accedere ai contenuti importanti del sito e, al tempo stesso, limitando la scansione dei contenuti meno importanti(Come l’accesso al Backoffice).
Quale tipo di estensione utilizzare per generare questo strumento? La risposta è nel nome stesso, deve essere un file di testo semplice.
Nello specifico, deve essere codificato in UTF-8 e diviso per righe in modo da semplificare la lettura.
In linea di massima devono essere applicate tutte le regole utili per avere un robots.txt leggero, Google applica un limite massimo al peso di questo file che è di 500 Kb.
Come si genera un file Robots txt per E-commerce ?
Un file robots txt per E-commerce si genera allo stesso modo di come si genera per qualsiasi altro sito web, le regole da seguire sono le stesse.
Solo che a seconda del CMS usato, può variare o meno l’uso di un modulo già incluso , vediamo, come fare per generare un file robots.txt per E-commerce.
Attenzione però quando lo crei sia manualmente che con degli strumenti, in quanto un errata creazione di tale file ti può implicare l’errato accesso al sito stesso, in quanto come detto in precedenza, il file robots txt permette o meno l’accesso a determinate parti del sito o a tutto il sito.
Puoi come sempre, creare un file robots.txt per E-commerce anche manualmente oltre che automaticamente.
Generare un file Robots txt per E-commerce Manualmente
Le regole base per scrivere le istruzioni di un file roborts.txt sono piuttosto semplice si basano su una serie di comandi essenziali.
Ti lascio un primo esempio di robots.txt.
User-agent: *
Disallow: Il comando User-Agent indica a quale spider applicare le istruzioni. Con l’asterisco si indica che le istruzioni si applicano a tutti, se hai delle esigenze specifiche puoi consultare quelle dei vari motori.
Ad esempio:
La riga Disallow suggerisce cosa impedire ai veri user-agent.
Qui puoi inserire directory e pagine che vuoi nascondere all’attenzione del motore di ricerca. Queste sono le istruzioni, ad esempio, per evitare che Google indicizzi le immagini inserite in una determinata cartella:
User-agent: Googlebot-Image
Disallow: /media-immagini/
Allow: /media-immagini/foto-bella.jpgIl comando finale con il termine Allow consente, all’interno di quella determinata directory, di indicizzare una singola immagine.
Ricorda che l’asterisco è un carattere jolly (o wildcard) che significa “tutto” in diverse condizioni. Ecco un esempio:
User-agent: *
Disallow: /*.doc$Per tutti gli user agent (prima riga con asterisco) dobbiamo evitare la scansione di un determinato tipo di file, vale a dire quelli con estensione .doc.
Il secondo asterisco serve proprio a definire questo, tutti i file in qualsiasi posizione che riguardano il formato .doc.
Mentre il simbolo del dollaro indica che la regola comprende solo quel tipo di estensione, il .docx è escluso.
Alcune regole sul file robots.txt che devono essere rispettate:
- il nome del file deve essere in minuscolo e mai in maiuscolo (robots.txt e non ROBOTS.TXT);
- il file deve essere posizionato nel percorso principale del sito – avremo un url del genere: http://www.miosito.it/robots.txt (dove al posto di miosito.it andrà inserito il nome del proprio sito);
- se abbiamo dei sottodomini, ognuno di essi deve avere il proprio file robots.txt;
- possiamo commentare le singole istruzioni, in modo da ricordare più facilmente le regole inserite. Per farlo utilizziamo il carattere # .
l file robots.txt si trova nella root del tuo E-commerce che hai costruito o meglio nella cartella dove hai costruito il sito.
https://www.nomesito.it/robots.txtQuindi, come trovare l’URL del robots.txt?
L’esempio che trovi in alto è rappresentativo.
Se è stato configurato e inserito a regola d’arte basta digitare, dopo il dominio di secondo o terzo livello, il nome del file in questione.
Da qui facciamo altre precisazioni: il nome file sarà sempre tutto minuscolo (quindi non puoi avere ROBOTS.TXT o rOBots.txt) e puoi creare un documento per ogni sottodominio del tuo sito internet o progetto web.
Tipo:
https://www.nomesito.it/cartella/robots.txt
Ricordati, dopo generato il file, devi caricarlo nella root del tuo sito E-commerce.
Generare un file Robots txt per E-commerce Tramite i Moduli
A seconda del CMS puoi generare il tuo file robots.txt tramite i moduli dei CMS stessi.
Robots.txt per E-commerce PRESTASHOP
Per realizzare un file robots txt per il CMS PRESTASHOP, puoi utilizzare il modulo interno che trovi andando da BACKOFFICE nella sezione Parametri Negozio e poi su Traffico & SEO.
Trovi in questa sezione una volta cliccato il modulo GENERATOR ROBOTS.TXT , se non lo trovi puoi andare in MODULES e fare una ricerca scrivendo robots e scaricando il modulo gratuito di prestashop.
Dopo averlo scaricato devi installarlo e configurarlo. Una volta fatto tutto, puoi cliccare il pulsante GENERA FILE ROBOTS.TXT
Se ti occorre modificare il file, accedi da FTP o da CPANEL alla root del sito e apri il file ROBOTS.TXT per poterlo modificare.
Le direttive possono essere di inclusione o di esclusione.
Assicurati quindi di aver generato con Prestashop il file robots.txt e di averlo configurato correttamente per far si che i motori di ricerca possano analizzare le pagine del tuo sito ecommerce.
Robots.txt per E-commerce MAGENTO
Strano ma vero, la distribuzione ufficiale di Magento non include un file robots.txt predefinito.
Non c’è da allarmarsi per questo, ma vale la pena riflettere qualche minuto per rendersi conto degli effetti di questa mancanza su un sito ecommerce Magento in produzione e dunque valutare i benefici che si possono trarre dalla creazione di un file robots.txt ad-hoc per il proprio store Magento.
Ciò di per sé non è un grosso problema, tuttavia ne raccomandiamo caldamente la creazione poiché un buon file robots.txt può migliorare gli aspetti della sicurezza e della vulnerabilità del sito E-commerce.
Limitare l’accesso ad aree amministrative e di sistema, e comunque che non siano utili per il visitatore del sito.
Questo può evitare che cartelle e file aggiunti in un secondo momento vengano indicizzati involontariamente.
Pensiamo ad un file con il dettaglio ordini o spedizioni, magari contenente riferimenti ai clienti o prodotti acquistati che potrebbe essere involontariamente indicizzato…
Quindi, puoi creare il file robots txt, scaricando un modulo magento e installandolo oppure creandolo manualmente, meglio ancora se usi un tools come TOOLS SEO BOOK, un sito web che mette a disposizione il tool per creare un file robots facilmente.
Poi però lo devi caricare nella root del tuo sito E-commerce.
Robots.txt per E-commerce Woordpress
Per woordpress puoi utilizzare anche YOAST SEO se lo stai utilizzando, andando in SEO e poi TOOLS, dovrai vedere file editor, se non vedi nulla , controlla la sicurezza di wordpress.
È possibile abilitare l’opzione di modifica dei file rimuovendo la seguente riga dal file wp-config.php :
define ("DISALLOW_FILE_EDIT", true);
Dato che il tuo sito non ne ha ancora uno, ti consigliamo ovviamente di selezionare Crea file robots.txt:
Accederai all’editor di file, dove potrai creare e salvare il tuo nuovo file.
Puoi anche utilizzare il plugin RANCK MATH.
Verifica il file Robots txt
Per verificare il file creato sul tuo sito web, ti basta uno strumento offerto dalla Search Console di Google, sempre molto utile.
Quindi vai sulla pagina ufficiale (google.com/robots-testing-tool) e scegliere una delle proprietà aggiunte, vale a dire un sito web che hai inserito nel servizio della Search Console.
Il tool mostra i vari comandi e in basso puoi inserire la pagina web che vuoi controllare per verificare se per caso le istruzioni bloccano l’indicizzazione.
Verde tutto ok, rosso hai qualche problema.
Contattami Per sviluppare il tuo E-commerce con Una Pianificazione Seo Adeguata al progetto o Per qualsiasi dubbio i consigli non si pagano!
Tu sai come realizzare il tuo E-commerce ? Non ancora ? Vuoi consigli ? Oppure chiederci un preventivo ? Siamo qua per te, contattaci.
Ti può Interessare Invece:
– Il tuo sito non viene torvato sui motori di ricerca
– Perchè scegliere un consulente seo
– Adattare siti web E-commerce alla versione mobile
– Ottimizzazione dei siti web mobile: Il tuo sito web è mobile ?
– Cosa significa Ottimizzazione E-commerce ?
– Cosa significa indicizzazione per E-commerce ?
– Differenza tra strategia Seo e strategia Sem
– Cosa sono le parole chiavi a corrispondenza inversa
– Differenza tra strategia seo, Indicizzazione e Ottimizzazione
