# Indexing Strategy > Indexing Strategy — Skill especializada para indexing strategy - Skill: `kursku/indexing-strategy` (Agent Skill) - Install (CLI): `npx skillmds@latest add kursku/indexing-strategy` - Raw SKILL.md: https://api.skillmd.com/api/skills/kursku/indexing-strategy/raw - Safety review: pending (external: skill-scanner PASS, skillspector PASS) - Works with: Claude Code, Claude.ai, OpenAI Codex - Category: Marketing & Growth - License: MIT - Author: kursku (https://skillmd.com/u/kursku) - Updated: 2026-09-08 - Page: https://skillmd.com/skills/kursku/indexing-strategy --- # Indexing Strategy Esta skill capacita o Claude Code a otimizar a visibilidade de conteúdo em motores de busca, gerenciando eficientemente o rastreamento, a indexação e a canonização de URLs para maximizar a performance orgânica. --- ## Keywords crawl budget, robots.txt, sitemap.xml, noindex, nofollow, canonical tags, hreflang, Google Search Console, indexability, renderização web, log analysis, duplicidade de conteúdo, HTTP status codes, meta robots, user-agent, rastreamento seletivo. --- ## Quick Start 1. **Validar Cobertura de Indexação no GSC**: Acessar o Google Search Console, navegar até "Páginas" (ou "Cobertura") e analisar o gráfico "Páginas válidas" e os relatórios de erros para identificar problemas de indexação em larga escala. 2. **Auditar e Otimizar Robots.txt**: Verificar o arquivo `robots.txt` em `seu_dominio.com.br/robots.txt` para garantir que não está bloqueando diretórios críticos (CSS, JS, imagens, páginas de conteúdo) e está permitindo o rastreamento adequado de páginas importantes. 3. **Submeter e Monitorar Sitemaps.xml**: Garantir que todos os sitemaps relevantes (ex: `sitemap.xml`, `sitemap_produtos.xml`) estão submetidos no GSC e que não apresentam erros de processamento ou URLs inválidas. 4. **Implementar Tags Canônicas**: Para qualquer conjunto de URLs que exibem conteúdo idêntico ou muito similar (ex: `https://exemplo.com/produto?cor=azul` e `https://exemplo.com/produto`), implementar a tag `rel="canonical"` apontando para a URL preferencial. --- ## Core Workflows ### Workflow 1: Otimização de Orçamento de Rastreamento (Crawl Budget) Este workflow detalha a análise e a otimização do orçamento de rastreamento para garantir que os bots dos motores de busca priorizem as páginas mais valiosas, maximizando a indexação de conteúdo relevante e minimizando o rastreamento de páginas de baixo valor. **Passos Detalhados:** 1. **Análise de Logs do Servidor para Identificar Padrões de Rastreamento**: * **Ferramenta**: Acesso aos logs do servidor (Apache, Nginx) ou plataformas como Splunk, ELK Stack, Screaming Frog Log File Analyser. * **Ação**: Filtrar os logs para ver quais URLs estão sendo rastreadas por User-Agents como `Googlebot`, `Bingbot`. Identificar páginas que são rastreadas excessivamente sem valor SEO (ex: páginas de filtro, URLs com parâmetros desnecessários, 404s). * **Exemplo**: Observar que o Googlebot gasta 30% do tempo rastreando URLs de filtro como `site.com.br/categoria?filtro=cor-vermelha&tamanho=p`, que não geram tráfego orgânico. 2. **Identificação e Exclusão de URLs de Baixo Valor ou Duplicadas**: * **Ferramenta**: Google Search Console (Relatório de Cobertura), Screaming Frog SEO Spider, Sitebulb. * **Ação**: Listar URLs que não devem ser indexadas ou que são duplicatas. Inclui páginas de login, carrinhos de compra, resultados de busca interna, páginas de tags ou categorias vazias. * **Exemplo**: Descobrir que `site.com.br/carrinho/` e `site.com.br/minha-conta/` estão sendo rastreadas, mas não devem ser indexadas. 3. **Implementação de Regras no `robots.txt` para Bloqueio Estratégico**: * **Ferramenta**: Editor de texto, acesso FTP/SSH ao servidor. * **Ação**: Utilizar a diretiva `Disallow` para impedir o rastreamento de diretórios ou arquivos específicos. Cuidado para não bloquear recursos essenciais (CSS/JS) ou páginas que precisam ser indexadas (apenas se o `noindex` for aplicado via meta tag). * **Exemplo**: ``` User-agent: * Disallow: /wp-admin/ Disallow: /carrinho/ Disallow: /minha-conta/ Disallow: /search/? Sitemap: https://www.exemplo.com.br/sitemap.xml ``` 4. **Uso de `meta noindex` para Gerenciamento Fino**: * **Ferramenta**: Acesso ao código HTML do site ou sistema de gerenciamento de conteúdo (CMS). * **Ação**: Para páginas que precisam ser acessíveis ao usuário, mas não devem aparecer nos resultados de busca, adicionar `` na seção ``. A diretiva `follow` é crucial para que os links internos sejam rastreados. * **Exemplo**: Aplicar `noindex, follow` em páginas de agradecimento após uma compra ou em páginas de filtro complexas sem valor orgânico. 5. **Otimização da Velocidade de Carregamento da Página (Core Web Vitals)**: * **Ferramenta**: Google PageSpeed Insights, Lighthouse, GTmetrix. * **Ação**: Reduzir o tamanho de imagens, minificar CSS/JS, otimizar o tempo de resposta do servidor. Páginas mais rápidas permitem que os bots rastreiem mais URLs no mesmo período. * **Dados Concretos**: Redução de 2 segundos no Largest Contentful Paint (LCP) pode aumentar o número de URLs rastreadas por dia em 15-20% em sites grandes. 6. **Implementação de `rel="nofollow"` em Links Internos de Baixo Valor**: * **Ferramenta**: Acesso ao código HTML ou CMS. * **Ação**: Aplicar `rel="nofollow"` em links para páginas que não precisam de "link juice" ou que não devem ser priorizadas no rastreamento interno (ex: links para termos e condições, política de privacidade em rodapés). * **Exemplo**: `Política de Privacidade`. ### Workflow 2: Gestão de Páginas Duplicadas e Canonização Este workflow foca em identificar e resolver problemas de conteúdo duplicado, garantindo que os motores de busca compreendam qual versão de uma página é a canônica (preferencial) para indexação, evitando diluição de autoridade e penalidades. **Passos Detalhados:** 1. **Identificação de Conteúdo Duplicado**: * **Ferramenta**: Google Search Console (Relatório de Cobertura, seção "Excluída por tag canônica com a versão enviada não selecionada", "Página duplicada sem URL canônica selecionada pelo Google"), Screaming Frog, Sitebulb, Siteliner. * **Ação**: Realizar varreduras completas no site para encontrar URLs com conteúdo idêntico ou muito similar. Isso inclui variações de URL (HTTP/HTTPS, WWW/non-WWW, parâmetros de sessão, IDs de rastreamento, ordenação/filtragem), versões para impressão, conteúdo sindicado. * **Exemplo**: `https://exemplo.com/produto` e `https://exemplo.com/produto?source=email`. Ou `http://exemplo.com` e `https://www.exemplo.com`. 2. **Definição da URL Canônica Preferencial**: * **Ação**: Para cada conjunto de páginas duplicadas, determinar qual URL é a versão "mestra" que deve ser indexada e rankeada. Esta deve ser a URL mais limpa, acessível e com melhor desempenho. * **Exemplo**: Se `https://www.exemplo.com/produto-x` é a versão HTTPS com WWW, ela deve ser a canônica em detrimento de `http://exemplo.com/produto-x` ou `https://exemplo.com/produto-x`. 3. **Implementação da Tag `rel="canonical"`**: * **Ferramenta**: Acesso ao HTML (seção ``) ou CMS. * **Ação**: Em todas as páginas duplicadas, adicionar a tag `` apontando para a URL definida como canônica. * **Exemplo**: Em `https://exemplo.com/produto?cor=azul`, a tag seria: ``. 4. **Configuração de Redirecionamentos 301 para Variações HTTP/HTTPS e WWW/non-WWW**: * **Ferramenta**: Arquivo `.htaccess` (Apache) ou configuração de servidor Nginx. * **Ação**: Implementar redirecionamentos 301 permanentes para consolidar todas as variações para a versão HTTPS e WWW (ou non-WWW) preferencial. * **Exemplo**: Todo o tráfego de `http://exemplo.com` e `http://www.exemplo.com` e `https://exemplo.com` deve ser redirecionado para `https://www.exemplo.com`. ```apache RewriteEngine On RewriteCond %{HTTPS} off [OR] RewriteCond %{HTTP_HOST} !^www\. [NC] RewriteRule ^(.*)$ https://www.exemplo.com%{REQUEST_URI} [L,R=301] ``` 5. **Gerenciamento de Parâmetros de URL no Google Search Console**: * **Ferramenta**: Google Search Console (Configurações > Parâmetros de URL - *Nota: esta ferramenta é legada e Google recomenda o uso de canonicals, mas pode ser útil para cenários específicos e legados*). * **Ação**: Informar ao Google como tratar parâmetros específicos de URL (ex: `sessionid`, `utm_source`) para evitar que sejam rastreados como URLs distintas. * **Exemplo**: Configurar o parâmetro `sessionid` para "Não rastrear URLs" se o parâmetro não altera o conteúdo da página. 6. **Monitoramento Pós-Implementação**: * **Ferramenta**: Google Search Console (Relatório de Cobertura), ferramentas de rastreamento. * **Ação**: Após a implementação, monitorar o relatório de cobertura do GSC para verificar se as páginas duplicadas estão sendo excluídas corretamente e se a versão canônica está sendo indexada. * **Métrica**: Redução de "Páginas duplicadas sem URL canônica selecionada pelo Google" e aumento de "Páginas válidas" ou "Excluída por tag canônica com a versão enviada não selecionada". --- ## Templates ### Robots.txt Otimizado para E-commerce Este exemplo de `robots.txt` bloqueia diretórios administrativos e de baixo valor, enquanto permite o rastreamento de todo o conteúdo de produto e categoria, apontando para o sitemap principal. ``` User-agent: * Disallow: /admin/ Disallow: /carrinho/ Disallow: /minha-conta/ Disallow: /checkout/ Disallow: /search/? Disallow: /tag/ Disallow: /*?sort=* Disallow: /*?filter=* Allow: /produtos/ Allow: /categorias/ Sitemap: https://www.exemplo-loja.com.br/sitemap.xml Sitemap: https://www.exemplo-loja.com.br/sitemap-produtos.xml ``` ### Canonical Tag para Conteúdo Duplicado Exemplo de como uma tag canônica deve ser implementada na seção `` de uma página com URL contendo parâmetros, apontando para sua versão limpa e preferencial. ```html Página de Produto Exemplo - Cor Azul ``` ### Entrada de Sitemap XML para Página de Produto Representação de uma entrada típica em um arquivo `sitemap.xml` para uma página de produto, incluindo a frequência de modificação e prioridade. ```xml https://www.exemplo.com.br/produtos/camiseta-basica/ 2024-07-26T10:00:00+00:00 weekly 0.8 https://www.exemplo.com.br/categorias/camisetas/ 2024-07-25T14:30:00+00:00 daily 0.9 ``` --- ## Checklist - [x] Verificar o relatório "Páginas" (ou "Cobertura") no Google Search Console para identificar erros e exclusões de indexação. - [x] Auditar o arquivo `robots.txt` para garantir que não há bloqueios acidentais de recursos essenciais (CSS/JS) ou páginas importantes. - [x] Confirmar que todos os `sitemap.xml` relevantes estão submetidos e sem erros no Google Search Console. - [x] Implementar tags `rel="canonical"` em todas as páginas com conteúdo duplicado ou similar, apontando para a URL preferencial. - [x] Remover tags `meta noindex` de páginas que devem ser exibidas nos resultados de busca. - [x] Otimizar a velocidade de carregamento da página (Core Web Vitals) para melhorar o crawl budget e a experiência do usuário. - [x] Analisar logs do servidor para identificar padrões de rastreamento de bots e URLs que consomem crawl budget desnecessariamente. - [x] Garantir que as URLs HTTP são redirecionadas via 301 para suas versões HTTPS correspondentes. - [x] Assegurar que as URLs sem WWW (ou com WWW, dependendo da sua preferência) são redirecionadas via 301 para a versão canônica. - [x] Implementar tags `hreflang` para sites com conteúdo em múltiplos idiomas ou regiões, garantindo a indexação correta da versão local. --- ## Métricas de Referência | Métrica | Benchmark | Meta | |-------------------------------------------|---------------------------------|------------------------------------| | Páginas Válidas (GSC) | >85% das URLs submetidas | >95% das URLs submetidas | | Erros de Cobertura (GSC) | <5% das URLs submetidas | <1% das URLs submetidas | | Taxa de Cliques (CTR) em resultados orgânicos | 3-5% (média geral) | >7% para termos de marca/alta intenção | | Tempo Médio de Carregamento (LCP) | <2.5 segundos (mobile) | <1.5 segundos (mobile) | | URLs Rastreáveis por dia (GSC) | Varia muito, mas consistente | Aumento de 10-20% após otimização | | Percentual de `noindex` válidos | <10% do total de URLs indexáveis | <5% do total de URLs indexáveis | --- ## Erros Comuns 1. **Bloquear CSS/JS/Imagens no `robots.txt`**: Impede que o Google renderize a página corretamente, dificultando a compreensão do conteúdo e a indexação. * **Como evitar**: Remover as diretivas `Disallow` que afetam recursos estáticos essenciais. Exemplo: Se `Disallow: /assets/` bloqueia CSS e JS, remova-o ou seja mais específico. 2. **`meta noindex` em conjunto com `Disallow` no `robots.txt`**: Se uma página é `Disallow` no `robots.txt`, o Googlebot nunca a rastreará e, portanto, nunca verá a tag `noindex` no HTML, podendo manter a página no índice. * **Como evitar**: Para remover uma página do índice, permita seu rastreamento (`Allow` no `robots.txt`) e utilize apenas a tag `` no HTML. 3. **Canonical auto-referencial incorreta ou apontando para URL de baixo valor**: Apontar uma tag canônica para a própria URL, mas com parâmetros desnecessários, ou para uma versão não preferencial do conteúdo. * **Como evitar**: A tag canônica deve sempre apontar para a versão mais "limpa" e preferencial da URL. Exemplo: Em `https://exemplo.com/produto?cor=vermelho`, o canonical deve ser `https://exemplo.com/produto/`, não `https://exemplo.com/produto?cor=vermelho`. 4. **Sitemaps desatualizados ou incompletos**: Sitemaps que contêm URLs inexistentes (404), bloqueadas por `robots.txt` ou `noindex`, ou que não incluem todas as páginas relevantes. * **Como evitar**: Gerar sitemaps dinamicamente ou regularmente, garantindo que contenham apenas URLs rastreáveis e indexáveis. Validar sitemaps no GSC após cada atualização. --- ## Dicas Avançadas 1. **Otimização para Indexação Mobile-First**: Priorizar a versão mobile do site, garantindo que o conteúdo, links internos e estrutura de dados (schema markup) sejam consistentes e completos na versão mobile, pois esta é a principal usada pelo Google para indexação. * **Exemplo**: Usar a ferramenta "Teste de compatibilidade com dispositivos móveis" do Google e auditar a paridade de conteúdo entre desktop e mobile. 2. **Uso de Sitemaps Dinâmicos com Última Modificação e Prioridade**: Para sites com milhões de URLs (ex: e-commerce com grande estoque), gerar sitemaps programaticamente, atualizando o `` para sinalizar ao Google quais páginas foram alteradas e ajustando a `` para guiar o rastreamento. * **Exemplo**: Um e-commerce pode gerar um sitemap diário para produtos em estoque e um semanal para categorias. 3. **Priorização de Rastreamento via Arquitetura de Links Internos**: Usar a estrutura de links internos para guiar os crawlers, atribuindo mais "PageRank" e atenção de rastreamento a páginas mais importantes através de links textuais relevantes e menor profundidade de cliques a partir da home. * **Exemplo**: A home page linka diretamente para as 5 categorias mais importantes, que por sua vez linkam para os produtos mais vendidos, concentrando o fluxo de rastreamento. 4. **Análise de Logs de Servidor para Comportamento de Bots e Erros**: Ir além do Google Search Console para analisar logs brutos do servidor. Isso permite identificar quais recursos os bots estão acessando, a frequência, erros 4xx/5xx específicos para bots, e oportunidades para otimizar o crawl budget. * **Exemplo**: Identificar que o Googlebot está constantemente rastreando milhares de URLs 404 de um diretório antigo, permitindo a implementação de redirecionamentos 301 em massa ou bloqueio via robots.txt. 5. **Estratégias de `noindex` Seletivo para Conteúdo Gerado pelo Usuário ou de Baixo Valor**: Implementar `noindex` em páginas de filtro complexas que geram pouco valor orgânico, páginas de busca interna, tags e categorias vazias ou com conteúdo muito diluído, evitando a diluição do crawl budget e a indexação de conteúdo irrelevante. * **Exemplo**: Aplicar `noindex` em `site.com.br/busca?q=termo-raro` ou `site.com.br/tag/nao-usada/` para concentrar a força de indexação em conteúdo de alto valor.