{"id":267,"date":"2016-01-19T15:23:28","date_gmt":"2016-01-19T17:23:28","guid":{"rendered":"https:\/\/www.postdigital.cc\/blog\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site\/"},"modified":"2023-12-05T19:10:32","modified_gmt":"2023-12-05T22:10:32","slug":"robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site","status":"publish","type":"post","link":"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site","title":{"rendered":"Robots.txt &#8211; Como definir ao google limites de acesso em seu site"},"content":{"rendered":"<p>Se voc\u00ea utiliza a internet desde seus prim\u00f3rdios, deve lembrar do &#8220;Cad\u00ea?&#8221;, um dos primeiros sites de busca lan\u00e7ado no Brasil nos meados de 1995. Para o seu site ser indexado no &#8220;Cad\u00ea?&#8221;, era necess\u00e1rio preencher um cadastro e categoriza-lo manualmente, logo ap\u00f3s o cadastro, voc\u00ea esperava mais ou menos umas tr\u00eas semanas (acredite se quiser!) para que ele fosse indexado.<\/p>\n<p>Nos dias de hoje os buscadores trabalham de uma forma completamente diferente, eles possuem rob\u00f4s que atrav\u00e9s de um algoritmo, rodam a internet, varrem os sites e indexam praticamente todo o conte\u00fado dispon\u00edvel.<\/p>\n<p>Diante disso, como controlar o que pode ou n\u00e3o ser indexado do seu site pelos buscadores? Confira no artigo de hoje.<\/p>\n<h2>O que \u00e9 robots.txt?<\/h2>\n<p><img class=\"aligncenter wp-image-8681 size-full\" src=\"https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2016\/01\/o-que-e-o-robots-txt.png\" alt=\"O que \u00e9 robots.txt?\" width=\"751\" height=\"403\" srcset=\"https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2016\/01\/o-que-e-o-robots-txt.png 751w, https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2016\/01\/o-que-e-o-robots-txt-340x182.png 340w\" sizes=\"(max-width: 751px) 100vw, 751px\" \/><\/p>\n<p><em>Robots.txt <\/em>\u00e9 um tipo de arquivo no formato de txt que \u00e9 usado como uma esp\u00e9cie de filtro para os sites de busca. Basicamente os sites de busca possuem rob\u00f4s que varrem as p\u00e1ginas de sites. Pelos robots.txt \u00e9 poss\u00edvel controlar as autoriza\u00e7\u00f5es de acesso dos rob\u00f4s de para certas p\u00e1ginas ou pastas.<\/p>\n<p>Esse arquivo controla qual informa\u00e7\u00e3o de um site, por exemplo, vai ou n\u00e3o ser indexada pelos sites de busca. A configura\u00e7\u00e3o do arquivo \u00e9 muito simples e deve estar na pasta raiz da hospedagem do site.<\/p>\n<h2>Qual a vantagem de se usar o robots.txt?<\/h2>\n<p><img class=\"aligncenter wp-image-8682 size-full\" src=\"https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2016\/01\/qual-a-vantagem-de-se-usar-o-robots-txt.png\" alt=\"Qual a vantagem de se usar o robots.txt?\" width=\"751\" height=\"403\" srcset=\"https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2016\/01\/qual-a-vantagem-de-se-usar-o-robots-txt.png 751w, https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2016\/01\/qual-a-vantagem-de-se-usar-o-robots-txt-340x182.png 340w\" sizes=\"(max-width: 751px) 100vw, 751px\" \/><\/p>\n<p>O <em>robots.txt<\/em> \u00e9 um arquivo important\u00edssimo para todo o <em>planejamento SEO<\/em>, afinal \u00e9 por ele que os sites de buscas conseguem perceber se podem ou n\u00e3o acessar um determinado arquivo ou diret\u00f3rio de um site.<\/p>\n<p>Criar um arquivo <em>robots.txt<\/em> traz a vantagem de ter o controle do que os sites de buscas ir\u00e3o acessar no seu site e consequentemente indexar. Pode ser muito \u00fatil para diagnosticar poss\u00edveis problemas na indexa\u00e7\u00e3o ou outro problema no site previamente.<\/p>\n<p>Outra vantagem \u00e9 que ao configurar um arquivo <em>robots.txt<\/em>, o SEO pode impedir que o Google leia todo o site evitando que ele se depare com algum erro no servidor. N\u00e3o \u00e9 necess\u00e1rio ter v\u00e1rios arquivos <em>robots.txt<\/em>, um para cada site \u00e9 o suficiente, se caso tiver outro arquivo ele n\u00e3o ser\u00e1 acessado.<\/p>\n<p><a href=\"https:\/\/materiais.postdigital.cc\/checklist-de-seo\" target=\"_blank\" rel=\"noopener\"><img class=\"aligncenter wp-image-3793 size-full\" src=\"https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2017\/05\/checklist-de-seo-como-otimizar-seu-site.png\" alt=\"Checklist de SEO como otimizar seu site\" width=\"750\" height=\"345\" srcset=\"https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2017\/05\/checklist-de-seo-como-otimizar-seu-site.png 750w, https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2017\/05\/checklist-de-seo-como-otimizar-seu-site-340x156.png 340w\" sizes=\"(max-width: 750px) 100vw, 750px\" \/><\/a><\/p>\n<h2>Dicas sobre o uso de Robots.txt<\/h2>\n<ul>\n<li>N\u00e3o espere que o robots.txt te informe sobre o fato de sua p\u00e1gina ser removida do \u00edndice dos sites de busca;<\/li>\n<li>Se caso o URL j\u00e1 foi indexado anteriormente por fontes externas, o arquivo robots.txt n\u00e3o vai conseguir evitar que os rob\u00f4s de busca usem esses dados para analisar a p\u00e1gina e formular o t\u00edtulo e a descri\u00e7\u00e3o. Por isso, utilizar uma regra para a p\u00e1gina n\u00e3o significa que ela desapare\u00e7a do site de busca. Existem outras maneiras para se remover uma p\u00e1gina do site de busca e n\u00e3o \u00e9 pelo robots.txt.<\/li>\n<li>Os rob\u00f4s de sites de busca fazem apenas o especificado no robots.txt. Se caso voc\u00ea usar uma interpreta\u00e7\u00e3o geral para todos os rob\u00f4s e outra para um rob\u00f4 espec\u00edfico, tenha no\u00e7\u00e3o que o site de busca que voc\u00ea especificou ir\u00e1 ler apenas o c\u00f3digo destinado e ir\u00e1 ignorar todas as outras.<\/li>\n<li>Existem alguns comandos espec\u00edficos muito \u00fateis geralmente em arquivo robots.txt usa duas tags (palavras-chaves), User-agent que significa agente de usu\u00e1rio para determinar qual rob\u00f4 e Dissallow que significa bloquear, que ajuda a definir qual URL espec\u00edfica n\u00e3o pode ser acessada pelos rob\u00f4s do Google. Para dar acesso \u00e0 determinada p\u00e1gina que seja dessa URL proibida, voc\u00ea pode usar o comando Allow.<\/li>\n<li>Procure dar instru\u00e7\u00f5es certas para o seu arquivo robots.txt. Dentro de um arquivo robots.txt, os rob\u00f4s tendem a ler as instru\u00e7\u00f5es da esquerda para a direita, o que significa que tudo que aparece ap\u00f3s o sinal de \/ \u00e9 bloqueado ou permitido. Por exemplo, se voc\u00ea usar o comando &#8220;Disallow: \/r&#8221; tudo que come\u00e7ar com a letra &#8220;r&#8221; ser\u00e1 ignorado pelos rob\u00f4s.<\/li>\n<\/ul>\n<p>E o seu site j\u00e1 utiliza o arquivo robots.txt?\u00a0Seu site possui um bom SEO? Se tiver alguma d\u00favida sobre como posicionar o seu site, <a href=\"http:\/\/materiais.postdigital.cc\/checklist-de-seo\">baixe o ebook gratuito &#8216;Checklist de SEO&#8217;<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>O robots.txt \u00e9 um arquivo important\u00edssimo para todo o planejamento SEO, afinal \u00e9 por ele que os buscadores conseguem perceber se podem ou n\u00e3o acessar um determinado arquivo ou diret\u00f3rio de um site.<\/p>\n","protected":false},"author":1,"featured_media":268,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":[],"categories":[2],"tags":[],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v19.5.1 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Robots.txt - Como definir ao google limites de acesso em seu site - Blog da Post Digital<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site\" \/>\n<meta property=\"og:locale\" content=\"pt_BR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Robots.txt - Como definir ao google limites de acesso em seu site - Blog da Post Digital\" \/>\n<meta property=\"og:description\" content=\"O robots.txt \u00e9 um arquivo important\u00edssimo para todo o planejamento SEO, afinal \u00e9 por ele que os buscadores conseguem perceber se podem ou n\u00e3o acessar um determinado arquivo ou diret\u00f3rio de um site.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site\" \/>\n<meta property=\"og:site_name\" content=\"Blog da Post Digital\" \/>\n<meta property=\"article:published_time\" content=\"2016-01-19T17:23:28+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2023-12-05T22:10:32+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2022\/08\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"1000\" \/>\n\t<meta property=\"og:image:height\" content=\"667\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Andr\u00e9 Cintra\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Andr\u00e9 Cintra\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. tempo de leitura\" \/>\n\t<meta name=\"twitter:data2\" content=\"5 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site\",\"url\":\"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site\",\"name\":\"Robots.txt - Como definir ao google limites de acesso em seu site - Blog da Post Digital\",\"isPartOf\":{\"@id\":\"https:\/\/www.postdigital.cc\/blog\/#website\"},\"datePublished\":\"2016-01-19T17:23:28+00:00\",\"dateModified\":\"2023-12-05T22:10:32+00:00\",\"author\":{\"@id\":\"https:\/\/www.postdigital.cc\/blog\/#\/schema\/person\/7c1bf9d6cbd2eb649cbe2b2f3448476a\"},\"breadcrumb\":{\"@id\":\"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site#breadcrumb\"},\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"In\u00edcio\",\"item\":\"https:\/\/www.postdigital.cc\/blog\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Robots.txt &#8211; Como definir ao google limites de acesso em seu site\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/www.postdigital.cc\/blog\/#website\",\"url\":\"https:\/\/www.postdigital.cc\/blog\/\",\"name\":\"Blog da Post Digital\",\"description\":\"\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/www.postdigital.cc\/blog\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"pt-BR\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/www.postdigital.cc\/blog\/#\/schema\/person\/7c1bf9d6cbd2eb649cbe2b2f3448476a\",\"name\":\"Andr\u00e9 Cintra\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\/\/www.postdigital.cc\/blog\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/d84bf2a7fbc83e100057cfda5d91e7f2?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/d84bf2a7fbc83e100057cfda5d91e7f2?s=96&d=mm&r=g\",\"caption\":\"Andr\u00e9 Cintra\"},\"sameAs\":[\"https:\/\/www.postdigital.cc\/blog\"],\"url\":\"https:\/\/www.postdigital.cc\/blog\/author\/geeks\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Robots.txt - Como definir ao google limites de acesso em seu site - Blog da Post Digital","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site","og_locale":"pt_BR","og_type":"article","og_title":"Robots.txt - Como definir ao google limites de acesso em seu site - Blog da Post Digital","og_description":"O robots.txt \u00e9 um arquivo important\u00edssimo para todo o planejamento SEO, afinal \u00e9 por ele que os buscadores conseguem perceber se podem ou n\u00e3o acessar um determinado arquivo ou diret\u00f3rio de um site.","og_url":"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site","og_site_name":"Blog da Post Digital","article_published_time":"2016-01-19T17:23:28+00:00","article_modified_time":"2023-12-05T22:10:32+00:00","og_image":[{"width":1000,"height":667,"url":"https:\/\/www.postdigital.cc\/blog\/wp-content\/uploads\/2022\/08\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site.jpg","type":"image\/jpeg"}],"author":"Andr\u00e9 Cintra","twitter_card":"summary_large_image","twitter_misc":{"Escrito por":"Andr\u00e9 Cintra","Est. tempo de leitura":"5 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site","url":"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site","name":"Robots.txt - Como definir ao google limites de acesso em seu site - Blog da Post Digital","isPartOf":{"@id":"https:\/\/www.postdigital.cc\/blog\/#website"},"datePublished":"2016-01-19T17:23:28+00:00","dateModified":"2023-12-05T22:10:32+00:00","author":{"@id":"https:\/\/www.postdigital.cc\/blog\/#\/schema\/person\/7c1bf9d6cbd2eb649cbe2b2f3448476a"},"breadcrumb":{"@id":"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site#breadcrumb"},"inLanguage":"pt-BR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/www.postdigital.cc\/blog\/artigo\/robots-txt-como-defnir-limites-de-acesso-ao-google-no-seu-site#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"In\u00edcio","item":"https:\/\/www.postdigital.cc\/blog\/"},{"@type":"ListItem","position":2,"name":"Robots.txt &#8211; Como definir ao google limites de acesso em seu site"}]},{"@type":"WebSite","@id":"https:\/\/www.postdigital.cc\/blog\/#website","url":"https:\/\/www.postdigital.cc\/blog\/","name":"Blog da Post Digital","description":"","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/www.postdigital.cc\/blog\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"pt-BR"},{"@type":"Person","@id":"https:\/\/www.postdigital.cc\/blog\/#\/schema\/person\/7c1bf9d6cbd2eb649cbe2b2f3448476a","name":"Andr\u00e9 Cintra","image":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/www.postdigital.cc\/blog\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/d84bf2a7fbc83e100057cfda5d91e7f2?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/d84bf2a7fbc83e100057cfda5d91e7f2?s=96&d=mm&r=g","caption":"Andr\u00e9 Cintra"},"sameAs":["https:\/\/www.postdigital.cc\/blog"],"url":"https:\/\/www.postdigital.cc\/blog\/author\/geeks"}]}},"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/posts\/267"}],"collection":[{"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/comments?post=267"}],"version-history":[{"count":3,"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/posts\/267\/revisions"}],"predecessor-version":[{"id":8684,"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/posts\/267\/revisions\/8684"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/media\/268"}],"wp:attachment":[{"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/media?parent=267"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/categories?post=267"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.postdigital.cc\/blog\/wp-json\/wp\/v2\/tags?post=267"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}