Meu site não aparece no Google? 7 verificações para achar a causa

Resposta curta: quando o site não aparece no Google, quase sempre existe uma causa que você mesmo consegue verificar. Primeiro confirme que a página realmente está fora do índice do Google. Depois percorra sete verificações, nesta ordem: código de status, noindex, robots.txt, soft 404, JavaScript, sitemap e links, e tempo. Ninguém sabe dizer quando uma página vai aparecer: o Google escreve que o rastreamento “can take anywhere from a few days to a few weeks”, ou seja, de alguns dias a algumas semanas. E estar indexada não é o mesmo que ranquear bem.

Seu site não aparece no Google? Primeiro confirme que a página realmente falta

“Não aparece” pode significar três coisas diferentes, e só a primeira é o assunto deste artigo:

• A página não está no índice do Google. O Google não a guardou, então ela não pode aparecer em nenhuma pesquisa. As sete verificações abaixo procuram o motivo.
• A página está no índice, mas não onde você procura. A ajuda do relatório “Indexação de páginas” diz que os resultados da pesquisa são personalizados de acordo com o histórico de pesquisa, a localização e outras variáveis de cada usuário. Uma página indexada, portanto, não aparece em todas as pesquisas e nem sempre aparece na mesma posição. Isso é uma questão de ranqueamento, não de indexação.
• A página é nova. Nesse caso, o tempo é a causa mais provável (verificação 7).

Descubra qual é o seu caso:

• Pesquise o endereço exato. Digite site:https://seu-site.example/sua-pagina no Google. A ajuda do relatório “Indexação de páginas” lista essa forma, site: mais o URL exato, como primeiro teste para sites pequenos, e a ajuda da ferramenta “Inspeção de URL” chama a pesquisa pelo URL da página de teste definitivo para saber se ela aparece.
• Pergunte à Search Console. A “Inspeção de URL” mostra o que o Google guardou sobre um endereço. “O URL está no Google” significa que a página está qualificada para aparecer nos resultados, mas sem garantia de que esteja lá (“eligible to appear in Search results, but is not guaranteed to be there”). “O URL não está no Google” significa que ela não pode aparecer. “URL is unknown to Google”, no original em inglês, quer dizer que o Google ainda não viu o endereço. A resposta guardada não é ao vivo: o teste em tempo real (“Testar o URL publicado”) verifica a página atual.

Se a Search Console já lista a página na tabela “Por que as páginas não foram indexadas”, o nome do status indica por onde continuar:

As 7 verificações, na ordem em que você deve fazê-las

As primeiras verificações bloqueiam tudo o que vem depois delas. Troque seu-site.example pelo seu endereço.

Verificação 1: a página responde com status 200?

A página do Google sobre códigos de status HTTP diz que o Google não indexa URLs que retornam status 4xx e que URLs já indexadas que passam a retornar um deles saem do índice. Erros persistentes do servidor (5xx) reduzem o ritmo do rastreamento, e esses URLs acabam descartados. Um redirecionamento passa a decisão para o destino: o Google ignora o conteúdo do URL que redireciona, e o relatório “Indexação de páginas” informa que uma “Página com redirecionamento” não é indexada em si. O 200 é um requisito, não uma promessa: um status 2xx “doesn't guarantee indexing”.

Dois bloqueios passam despercebidos com facilidade. Um login deixa o Googlebot de fora, porque ele não envia credenciais. E um firewall ou uma proteção contra bots pode responder ao Googlebot com um erro enquanto o seu navegador vê a página normalmente. A ajuda do Google cita firewalls mal configurados e proteção contra DoS como um modo de bloquear o Googlebot sem querer.

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://seu-site.example/sua-pagina

Você quer ver 200 e o endereço que espera. Isso mostra o que o seu computador recebe. O que o Google recebe, o teste em tempo real da “Inspeção de URL” mostra.

No SEOgrinder: o cartão “Indexação” na aba “Página no Google” lista o status HTTP. Um status ruim também vira tarefa, por exemplo “O servidor devolveu o estado 503”.

Verificação 2: a página está com noindex?

Uma regra noindex diz ao Google para deixar a página de fora. Ela fica numa meta tag robots no <head> da página ou num cabeçalho HTTP X-Robots-Tag. Depois que o Googlebot rastreia a página e lê a regra, “Google will drop that page entirely from Google Search results”, como diz a documentação do noindex: o Google tira a página por completo dos resultados. Uma página pode receber a regra sem querer:

• Uma configuração do CMS. O WordPress tem uma caixa que pede aos mecanismos de busca que não indexem o site (em inglês, “Discourage search engines from indexing this site”). Segundo a documentação do WordPress, desde a versão 5.3 ela faz o WordPress escrever uma meta tag robots com noindex,nofollow no <head> da página.
• Um cabeçalho. Um servidor ou CDN pode enviar X-Robots-Tag: noindex. Ele nunca aparece no código-fonte da página, por isso é fácil de ignorar.
• Um pedido de remoção. Se alguém usou a Ferramenta de remoção para esse endereço, o pedido vale só por cerca de seis meses, e a aba “Remoções temporárias” o lista (ajuda da Search Console).

curl -s -D - -o /dev/null https://seu-site.example/sua-pagina | grep -i x-robots-tag
curl -s https://seu-site.example/sua-pagina | grep -i -E 'name="(robots|googlebot)"'

Sem saída, nenhum cabeçalho nem tag desse tipo foi encontrado. Se aparecer uma linha, noindex (ou none) mantém a página fora. Se o robots.txt bloqueia a página (verificação 3), “the crawler will never see the noindex rule”: o rastreador nunca vê a regra, então o bloqueio precisa sair primeiro. Uma tag que o JavaScript adiciona depois não aparece no curl; o teste em tempo real mostra o que o Google recebeu.

No SEOgrinder: a primeira linha do cartão “Indexação” muda para “A página está excluída da indexação” quando a meta tag robots diz noindex, e a lista de tarefas mostra “A página está excluída do Google”. Um noindex no cabeçalho HTTP aparece como a tarefa “Um cabeçalho HTTP exclui a página do Google”.

Verificação 3: o robots.txt bloqueia a página?

O arquivo https://seu-site.example/robots.txt diz aos rastreadores quais caminhos deixar em paz. A introdução ao robots.txt, do Google, descreve o arquivo principalmente como um meio de gerenciar o tráfego de rastreadores. Uma regra que corresponde à sua página impede o Googlebot de buscá-la: um URL bloqueado é pulado sem nenhuma requisição (noções básicas de SEO para JavaScript). O URL ainda pode aparecer nos resultados se outras páginas apontarem para ele, mas sem descrição, porque o Google não leu a página.

O acidente clássico são duas linhas:

User-agent: *
Disallow: /

Elas bloqueiam o site inteiro para todo rastreador que obedece ao arquivo. Uma regra mais estreita, como Disallow: /loja/, bloqueia essa pasta e tudo o que está abaixo dela. Compare cada linha Disallow com o caminho da sua página.

No SEOgrinder: o cartão “Indexação” diz “Este URL está bloqueado ao rastreio” e mostra a regra que correspondeu. A tarefa é “O robots.txt bloqueia este URL”.

Verificação 4: a página é um soft 404?

Um soft 404 é uma página que diz “não encontrada” ou quase não mostra nada, mas responde com status 200. A página do Google sobre códigos de status diz que, quando uma resposta 2xx contém uma mensagem de erro ou uma página vazia, a Search Console mostra um erro de soft 404. Para páginas que de fato não existem, o Google recomenda um 404 de verdade. Para uma página que deveria existir, a correção é o contrário: dar a ela conteúdo real.

No relatório “Indexação de páginas”, procure o motivo “Erro soft 404”. Para um endereço específico, faça o teste em tempo real e abra “Ver a página testada”, que mostra uma captura de tela da página como o Google a renderiza. Depois pergunte ao seu servidor por um endereço que não pode existir:

curl -s -L -o /dev/null -w "%{http_code} %{url_effective}\n" https://seu-site.example/pagina-que-nao-pode-existir

Você quer ver 404. Se vier 200, o servidor responde a todo endereço com sucesso, e esse é o padrão por trás dos soft 404. O nosso artigo sobre o erro soft 404 traz as correções para nginx, Node e single-page apps.

No SEOgrinder: o cartão “Indexação” tem a linha “Os endereços desconhecidos devolvem 404 corretamente” ou “Os endereços desconhecidos devolvem 200 em vez de 404”, com uma tarefa. O SEOgrinder inventa um endereço e pergunta ao seu servidor, ou seja, testa como o servidor trata endereços que não existem. Se o Google arquivou a sua página como soft 404, só a Search Console mostra.

Verificação 5: o conteúdo só é montado no navegador?

O Google executa JavaScript. As noções básicas de SEO para JavaScript explicam que páginas com status 200 esperam numa fila para serem renderizadas, o que pode levar “a few seconds, but it can take longer”. Portanto, o JavaScript sozinho não mantém uma página fora do Google. Ele vira causa em quatro casos que a mesma página descreve:

• noindex no HTML original. Quando o Google vê noindex, pode pular a renderização, e um JavaScript que remove a tag “may not work as expected”, ou seja, talvez não funcione como o esperado. Se você quer a página indexada, deixe o noindex fora do código original.
• Scripts bloqueados. “Google Search won't render JavaScript from blocked files or on blocked pages”: o Google não renderiza JavaScript de arquivos bloqueados nem em páginas bloqueadas.
• Links que não são links. O Google só descobre links que são elementos <a> com um atributo href. Endereços que só diferem depois de um # não são confiáveis.
• Páginas de erro em single-page apps. Um app que responde 200 a todo endereço produz soft 404 (verificação 4).

Para testar, escolha “Ver código-fonte da página” (não o painel Elementos das ferramentas do desenvolvedor) e procure o seu título principal e o texto. Se eles não estiverem lá, o JavaScript os monta. Depois use o teste em tempo real e “Ver a página testada” para ver como o Google renderizou a página. O Google acrescenta que a renderização no servidor ou a pré-renderização continua sendo uma ótima ideia, porque “not all bots can run JavaScript”, nem todo bot executa JavaScript. O nosso artigo sobre crawlers de IA e JavaScript trata desses outros bots.

No SEOgrinder: a tarefa “A página só é montada no navegador” aparece quando o HTML que o seu servidor entrega tem quase nenhum texto, título ou link interno. Ela aponta o risco para rastreadores que não executam JavaScript. Se o Google renderiza a sua página corretamente, o teste em tempo real mostra.

Verificação 6: o Google consegue achar a página? Sitemap e links

O Google só indexa o que encontra. Segundo a ajuda do relatório “Indexação de páginas”, ele fica sabendo de uma página por um sitemap, por uma solicitação de rastreamento ou por um link para ela em algum lugar. O Googlebot rastreia URLs que achou em páginas já rastreadas, então uma página para a qual nada aponta pode continuar desconhecida, sobretudo num site novo e com poucos links externos (visão geral dos sitemaps).

• Olhe o seu sitemap. Abra https://seu-site.example/sitemap.xml, ou o endereço indicado no robots.txt, e procure a página. O Google pede endereços completos e absolutos, e só os que você quer ver nos resultados da pesquisa (como criar um sitemap). Páginas que respondem 404, redirecionam ou têm noindex não pertencem a ele.
• Envie o sitemap. O relatório “Sitemaps” da Search Console mostra quando o Googlebot leu o arquivo e quais erros apareceram. O robots.txt não pode bloquear o arquivo.
• Crie um link para a página a partir de pelo menos uma página que já esteja indexada, como a página inicial ou um artigo relacionado.
• Peça a indexação, com moderação. Para um site novo, o Google chama a solicitação de indexação da página inicial de melhor primeiro passo. A “Inspeção de URL” serve para “just a few URLs”, ou seja, poucos endereços; há uma cota, e pedir de novo o mesmo URL “won't get it crawled any faster” (ajuda sobre novo rastreamento).

Um sitemap ajuda o Google a descobrir endereços, mas “doesn't guarantee” que tudo o que está nele seja rastreado e indexado. O Google acrescenta que um site de cerca de 500 páginas ou menos, com links completos entre elas, talvez nem precise de um.

No SEOgrinder: o cartão “Indexação” diz “Este URL está no sitemap” ou “Este URL não está no sitemap”. A lista de tarefas pode mostrar “Nenhum sitemap encontrado”, “O sitemap inclui uma página com noindex” e uma tarefa que conta os endereços do sitemap que não respondem com 200. Com o varrimento do site, uma tarefa como “Uma página não recebe qualquer ligação interna” mostra páginas para as quais nada aponta.

Verificação 7: o Google já teve tempo suficiente?

O Google não dá data. A ajuda sobre novo rastreamento diz: “Crawling can take anywhere from a few days to a few weeks.” A ajuda do relatório “Indexação de páginas” acrescenta que “it can take a week or so” para o Google começar a rastrear e indexar uma página ou um site novo, que a indexação “is never instant, even when you submit a crawl request directly”, e que o Google não garante que todas as páginas entrem no índice.

A Search Console mostra dois status de espera. “Detectada, mas não indexada no momento” (no original em inglês, “Discovered – currently not indexed”) significa que o Google encontrou a página, mas ainda não a rastreou, em geral porque esperava que o rastreamento sobrecarregasse o site. “Rastreada, mas ainda não indexada” (“Crawled – currently not indexed”) significa que o Google buscou a página e não a incluiu. O Google chama isso de “a common message for many sites”, uma mensagem comum, que “doesn't necessarily indicate an issue that needs attention”, e diz para não esperar que todo URL de um site seja indexado.

Se as verificações 1 a 6 estão limpas e a página tem mais de algumas semanas, o Google não aponta nenhum outro motivo para “Rastreada, mas ainda não indexada”. Nossa avaliação, não a do Google: veja se a página diz algo que as suas outras páginas não dizem e se páginas importantes apontam para ela.

No SEOgrinder: ele não enxerga o relógio do Google. Numa instalação local conectada à Search Console, ele pode consultar a “Inspeção de URL” sobre a página analisada e mostrar no relatório a resposta guardada pelo Google, por exemplo “A Google ainda não conhece este endereço”. A versão em seogrinder.com não se conecta à sua conta da Search Console.

O que uma análise mostra e o que não mostra

O SEOgrinder é a nossa ferramenta, e nós a construímos. Uma análise de fora lê o que a sua página diz e como o seu servidor responde: status, noindex, robots.txt, o comportamento de soft 404 do servidor, o HTML entregue e o sitemap. Ela não enxerga o índice do Google e não consegue dizer por que o Google rastreou uma página e a deixou de fora. A pergunta sobre o índice é respondida pela Search Console e pela pesquisa pelo endereço exato. Um relatório todo verde não promete que a página vai aparecer nem em que posição, e ninguém pode prometer.

Erros comuns

• Julgar por uma única pesquisa. Os resultados mudam de pessoa para pessoa e de lugar para lugar. Pesquise o endereço exato ou use a “Inspeção de URL”.
• Bloquear no robots.txt e ainda colocar noindex. O Google nunca vê a regra noindex. Use uma ferramenta para cada objetivo.
• Tirar o noindex só de um lugar. Ele pode estar ao mesmo tempo na configuração de um plugin, numa meta tag e num cabeçalho HTTP.
• Pedir a indexação de novo e de novo. Isso não acelera nada.
• Parar no primeiro achado. Várias causas podem se aplicar a uma mesma página, então faça as sete verificações.

Perguntas frequentes

Por que o meu site novo não aparece no Google?

Um motivo possível é que o Google ainda não o rastreou, o que pode levar cerca de uma semana. Envie um sitemap, peça a indexação da página inicial e faça as sete verificações.

Por que a Search Console diz “O URL está no Google” se eu não encontro a página?

“O URL está no Google” significa que a página está qualificada para aparecer, não que ela aparece em toda pesquisa. Pesquise o endereço exato. Se ele aparecer, a indexação está certa e a dúvida é sobre o ranqueamento.

A minha página estava no Google e sumiu. Qual verificação se aplica?

Comece pelas verificações 1 a 3. O Google remove URLs indexados que retornam status 4xx, e diz que uma queda nas páginas indexadas sem um aumento correspondente de erros pode significar que você está bloqueando páginas existentes por robots.txt, noindex ou login. Procure também um pedido de remoção.

Seu próximo passo

Digite o endereço da página que sumiu na análise gratuita do SEOgrinder. Na aba “Página no Google”, leia o cartão “Indexação” e corrija cada linha vermelha; a lista de tarefas mostra o que fazer primeiro. Clique em “Verificar de novo” depois da sua mudança (os relatórios podem ficar em cache por até 24 horas), envie o sitemap e dê tempo ao Google. Para tudo o que vai além da indexação, use a nossa checklist de auditoria SEO.

Leia também

• Indexar uma página no Google: 5 passos que testamos