Noindex, robots.txt e canonical: le differenze

robots.txt, noindex e canonical sono tre istruzioni per i motori di ricerca, spesso confuse. Il robots.txt è un file che dice a Google quali parti del sito non visitare; il noindex è un’istruzione nella pagina che dice di non mostrarla nei risultati; il canonical indica qual è la versione principale quando più pagine sono quasi uguali. Servono tutti a guidare Google, ma in momenti diversi: prima della visita, dopo la visita, quando ci sono copie.

Il confronto in una tabella

	robots.txt	noindex	canonical
Cos’è	Un file nella radice del sito	Un’istruzione nella pagina	Un collegamento nella pagina
Dice a Google	“Non visitare qui”	“Non mostrare questa pagina”	“La pagina principale è quest’altra”
Quando serve	Zone inutili da visitare (filtri infiniti, ricerche interne)	Pagine che non servono nei risultati (carrello, area clienti, ringraziamento)	Pagine quasi uguali (filtri, parametri, versioni stampabili)
Attenzione	Non toglie le pagine dai risultati	Google deve poter visitare la pagina	È un suggerimento, non un ordine

Cos’è il robots.txt

È un file di testo che deve stare nella radice del sito, all’indirizzo /robots.txt (per esempio https://www.esempio.it/robots.txt). Dice ai programmi dei motori di ricerca quali percorsi non visitare. Esempio:

User-agent: *
Disallow: /ricerca/
Sitemap: https://www.esempio.it/sitemap.xml

Le regole principali:

Istruzione	Cosa fa	Esempio
User-agent	A quale programma si rivolge (* = tutti)	User-agent: Googlebot
Disallow	Percorso da non visitare	Disallow: /carrello/
Allow	Eccezione dentro un percorso bloccato	Allow: /carrello/aiuto/
Sitemap	Indirizzo della sitemap	Sitemap: https://www.esempio.it/sitemap.xml
* e $	Qualsiasi testo / fine dell’indirizzo	Disallow: /*?ordina=

Google legge al massimo i primi 500 KiB del file. Un robots.txt vuoto o con Disallow: senza percorso vuol dire “visita tutto”.

Serve a non sprecare le visite di Google su pagine inutili. Non serve a nascondere una pagina dai risultati: se altri siti la linkano, può comparire lo stesso, senza descrizione. E non è una protezione: il file è pubblico e chiunque può leggerlo, quindi non va usato per nascondere aree riservate.

Cos’è il noindex

È un’istruzione nel codice della pagina, dentro il tag meta robots:

<meta name="robots" content="noindex">

Google visita la pagina, legge il noindex e la toglie dai risultati. È la scelta giusta per carrello, area clienti, pagine di ringraziamento dopo un ordine, risultati della ricerca interna.

Per i file che non sono pagine HTML, come i PDF, il noindex si mette nell’intestazione HTTP inviata dal server:

X-Robots-Tag: noindex

Altri valori utili del meta robots: nofollow (non seguire i link della pagina), noimageindex (non indicizzare le immagini), max-snippet:0 (non mostrare l’anteprima del testo).

Un esempio reale: le pagine dell’app di esercizi di Peacchy hanno un noindex, perché sono esercizi interattivi e non pagine da leggere; il robots.txt invece permette a Google di visitare tutto, così può leggere quel noindex.

L’errore più pericoloso: un noindex messo per sbaglio su pagine importanti, per esempio dopo un cambio di tema o il passaggio da un sito di prova a quello vero. Le pagine spariscono da Google nel giro di qualche settimana.

Cos’è il canonical

Quando più indirizzi mostrano quasi lo stesso contenuto, per esempio /te-verdi/ e /te-verdi/?ordina=prezzo, si indica quale è la versione principale:

<link rel="canonical" href="https://www.esempio.it/te-verdi/">

Così Google concentra i segnali su una pagina sola invece di dividerli tra le copie. Le regole pratiche:

• usa l’indirizzo completo (con https:// e dominio), non relativo;
• un solo canonical per pagina;
• ogni pagina “normale” può avere un canonical verso se stessa (autoreferenziale): evita copie create da parametri come gli UTM;
• il canonical deve puntare a una pagina che funziona (codice 200), non a un redirect o a un 404.

Il canonical è un suggerimento: Google lo segue quasi sempre, ma può scegliere un’altra pagina se i segnali sono contraddittori (per esempio se la sitemap e i link interni puntano a un indirizzo diverso). In Search Console lo vedi come “Google ha scelto una pagina canonica diversa da quella dell’utente”.

Le combinazioni sbagliate

Combinazione	Cosa succede	Cosa fare
robots.txt blocca + noindex	Google non può visitare la pagina, non vede il noindex e la pagina può restare nei risultati	Togli il blocco dal robots.txt finché la pagina non è uscita
noindex + canonical verso un’altra pagina	Messaggi contraddittori	Scegli uno dei due
canonical verso una pagina con noindex	Google potrebbe non indicizzare nessuna delle due	Fai puntare il canonical a una pagina indicizzabile
Sito di prova online senza protezione	Le copie di prova finiscono su Google	Proteggi l’ambiente di prova con una password

Come controllarli

• Apri /robots.txt nel browser per vedere il file.
• In Search Console, il rapporto robots.txt mostra la versione letta da Google; il Controllo URL mostra se la pagina ha un noindex e quale canonical ha scelto Google.
• Nel codice della pagina (tasto destro → Visualizza sorgente) cerca noindex e canonical.

Un esempio: Cinque Foglie

Nel negozio finto di Peacchy sono successe due cose dopo il cambio di tema:

1. Le pagine delle tisane avevano un noindex per errore: le visite da Google sono calate e il problema si è visto nel rapporto delle pagine di Search Console.
2. Le pagine dei filtri (per prezzo, per origine) non avevano il canonical: Google ne trovava decine quasi uguali alla categoria.

Soluzione: togliere il noindex dalle tisane e chiedere a Google di ricontrollare; aggiungere il canonical dei filtri verso la categoria.

Come Google trova e salva le pagine è spiegato in come Google trova e ordina le pagine.

Fonti

• Introduzione al file robots.txt (Google Search Central)
• Bloccare l’indicizzazione con noindex (Google Search Central)
• Come specificare un URL canonico (Google Search Central)