Gerador de robots.txt

Monte seu arquivo robots.txt visualmente. Adicione regras por User-agent, defina caminhos bloqueados e permitidos, e inclua o URL do sitemap.

Bloco 1

O que é o robots.txt?

O arquivo robots.txt fica na raiz do site e instrui os crawlers de buscadores sobre quais páginas podem ou não ser rastreadas. Não substitui o noindex, mas reduz o desperdício de crawl budget.