Come Google trova le pagine e come indicizzare un sito

Google trova le pagine in tre passaggi: la scansione (un programma, Googlebot, visita le pagine seguendo i link), l’indicizzazione (Google legge la pagina e decide se salvarla nel suo archivio, l’indice) e il posizionamento (quando qualcuno cerca, sceglie le pagine più utili e le mette in ordine). Per indicizzare un sito su Google bisogna rendere le pagine facili da trovare, inviare una sitemap in Search Console ed evitare istruzioni che le escludono.

Ogni volta che cerchi qualcosa, Google risponde in meno di un secondo. Non cerca in tutto il web in quel momento: cerca nel suo archivio, che ha costruito prima.

1. Scansione: trovare le pagine

Un programma di Google (si chiama Googlebot) visita le pagine e segue i link, da una pagina all’altra. Per questo i link interni sono importanti: una pagina che nessuno collega è difficile da trovare.

Aiuta anche la sitemap: un file con l’elenco delle pagine del sito, che si comunica a Google in Search Console. Una sitemap può contenere al massimo 50.000 indirizzi o pesare 50 MB (non compressa): i siti più grandi ne usano più di una, raccolte in un indice di sitemap.

Il file robots.txt dice a Googlebot quali parti del sito non visitare. Attenzione: bloccare una pagina nel robots.txt non la toglie da Google, impedisce solo di leggerla.

Per la grande maggioranza dei siti Google visita tutte le pagine senza problemi. Il cosiddetto crawl budget (quante pagine Google visita in un certo tempo) conta, secondo Google, solo per siti molto grandi: oltre un milione di pagine che cambiano spesso, o oltre 10.000 pagine che cambiano ogni giorno.

2. Indicizzazione: salvare le pagine

Google legge il contenuto della pagina e decide se salvarlo nel suo indice, l’archivio da cui prende i risultati. Può decidere di non farlo, per esempio se:

• la pagina chiede di non essere indicizzata (un noindex);
• è quasi uguale a un’altra pagina (un duplicato);
• ha poco contenuto utile;
• è bloccata da una password o mostra un errore (404, 500);
• Google non riesce a leggerla bene, per esempio perché il testo compare solo dopo molti script.

Come si controllano queste istruzioni è spiegato in noindex, robots.txt e canonical.

3. Posizionamento: mettere in ordine

Quando qualcuno cerca, Google sceglie tra le pagine del suo indice quelle che rispondono meglio e le ordina. Guarda molti segnali:

• se la pagina risponde all’intento di chi cerca (vedi l’intento di ricerca);
• se il contenuto è utile e affidabile (il criterio E-E-A-T);
• se altri siti la citano con un link;
• la lingua e il luogo di chi cerca;
• se si apre bene da telefono e senza attese (vedi Core Web Vitals).

Come indicizzare un sito su Google in 7 passi

1. Controlla che il sito sia pubblico: niente password, niente modalità “in costruzione” che blocca i motori di ricerca.
2. Aggiungi il sito a Google Search Console e verifica la proprietà.
3. Invia la sitemap dalla sezione Sitemap.
4. Collega ogni pagina importante da altre pagine del sito (menu, articoli, categorie).
5. Togli i noindex messi per errore e controlla il robots.txt.
6. Usa il Controllo URL per le pagine nuove e premi “Richiedi indicizzazione”.
7. Aspetta e controlla il rapporto Pagine: una pagina nuova può essere indicizzata in qualche giorno o in qualche settimana. Google non garantisce l’indicizzazione di tutte le pagine.

Perché il mio sito non compare su Google?

Sintomo	Causa probabile
Nessuna pagina su Google	Sito nuovo e non ancora scansionato, o noindex su tutto il sito
Alcune pagine mancano	Nessun link interno, contenuti quasi uguali, noindex su un modello di pagina
Le pagine ci sono ma in fondo	Concorrenza alta, contenuto meno utile di altri, keyword sbagliata
Scompaiono all’improvviso	Errori del server, redirect sbagliati, un cambio di tema o di piattaforma

Per controllare se una pagina è indicizzata si può anche cercare su Google site:esempio.it/pagina, ma il dato preciso è nel Controllo URL di Search Console.

Un esempio

Nel negozio finto Cinque Foglie, dopo il cambio di tema del sito, le pagine delle tisane erano scansionate ma non indicizzate: il tema nuovo aveva aggiunto per errore un noindex. Le pagine esistevano, Google le visitava, ma non le salvava. Il problema non era la classifica: era il secondo passaggio.

Per vedere a che punto sono le pagine di un sito vero si usa Google Search Console.

Fonti

• Come funziona la Ricerca Google (Google Search Central)
• Creare e inviare una sitemap (Google Search Central)
• Gestire il crawl budget nei siti di grandi dimensioni (Google Search Central)