Como não permitir indexação por máquinas de busca? – google busca web-crawler

Pergunta:


Esse dias coloquei o meu domínio no Google e ele buscou meu Web Site e meu Sistema.

Gostaria que meu Sistema fosse escondido do Google e de qualquer outra máquina de busca.

  • Teria como fazer isso?
  • E como tirar indexação já feita pelo Google?
Autor da pergunta Marconi

Resposta Comunidade:

Basta colocar um arquivo chamado robots.txt (tem boa documentação neste site) na pasta que você não quer que seja indexado.

Alguns buscadores interpretam o que está escrito dentro para saber mais como devem seguir seu pedido.

O mecanismo de busca não é obrigado a ignorar mas normalmente eles os fazem. Evidentemente se ninguém deveria poder acessar você tem que tomar outras providências limitando o acesso a usuários autenticados.

Como é possível perceber dá para declarar quais URLs podem ser acessadas ou não. Pode-se diferenciar dependendo do tipo de cliente (user-agent) que está acessando o site.

Para proibir em todo o site:

User-agent: *
Disallow: /

Algum tempo após colocar este arquivo os mecanismos que respeitam este arquivo não mais mostrarão o conteúdo em suas páginas. Porém ela pode ter sido arquivada e até onde eu sei sem ordem judicial não é possível que seja retirado.

Artigo na Wikipedia.

Você pode usar um arquivo robots.txt na raiz do seu diretório web com o seguinte conteúdo:

User-agent: *
Disallow: /

Lembrando que o robots.txt é somente uma dica para que o crawler não indexe aquela página. Os principais motores de busca respeitam o que está indicado no arquivo, mas isso não quer dizer que o conteúdo vai estar invisível ou inacessível.

Através do Google Webmasters você pode remover seu site dos resultados de busca do Google.

Fonte

Related Posts:

Qual a diferença entre AppCompatActivity e Activity? – android android-activity
Pergunta: Qual a diferença da AppCompatActivity para Activity ? A partir de qual versão a AppCompatActivity foi adicionada ao Android? Autor da pergunta Luhhh A diferença reside ...
Como abreviar palavras em PHP? – php string
Pergunta: Possuo informações comuns como nome de pessoas e endereços, e preciso que elas contenham no máximo 30 caracteres sem cortar palavras. Exemplo: 'Avenida Natalino João Brescansin' ...
Qual é a finalidade de um parêntese vazio numa declaração Lambda? – c# expressões-lambda característica-linguagem
Pergunta: Criei um exemplo de uma declaração Lambda sem argumentos, entretanto, estou com duvidas referente a omissão do parêntese vazio () na declaração. Veja o exemplo: class ...
Boas práticas para URI em API RESTful – api rest restful
Pergunta: Estou com dúvida em relação às URIs de alguns recursos da api que estou desenvolvendo. Tenho os recursos projetos e atividades com relação 1-N, ...
Dúvidas sobre a integração do MySQL com Java – java mysql netbeans
Pergunta: Estou criando um sistema no NetBeans, utilizando a linguagem Java e o banco de dados MySQL. Escrevi o seguinte código para realizar a conexão ...
Qual é a finalidade da pasta Model do framework Inphinit? – php inphinit
Pergunta: No Inphinit micro-framework existe a pasta Model que fica dentro da pasta application, e nela é onde ficam as classes, mas eu estou muito ...
Uso do ‘@’ em variáveis – javascript typescript coffeescript
Pergunta: Vejo em algumas linguagens que compilam para javascript, como TypeScript e CoffeeScript, o uso do @ em variáveis, como também, casos em que o ...
Qual tamanho máximo um arquivo JSON pode ter? – json arquivo
Pergunta: Vou dar um exemplo para conseguir explicar minha duvida: Preciso recuperar informação de imagens vindas de uma API, esse banco de imagens me retorna JSON's ...
O que é Teste de Regressão? – terminologia engenharia-de-software testes
Pergunta: Na matéria de Teste de Software o professor abordou um termo chamado Teste de Regressão, isto dentro da disciplina de teste de software. Sendo ...
O que é um construtor da linguagem? – php característica-linguagem
Pergunta: Em PHP, já li e ouvi várias vezes a respeito dos Construtores da Linguagem. Os casos que sempre ouvi falar deles foi em casos ...
Função intrínseca para converter numérico para string – cobol
Pergunta: Estou a tentar saber se existe alguma função intrínseca do COBOL para converter um data numérico para string sem precisar usar a cláusula REDEFINES: ( ...
Porque usar implements? – java android
Pergunta: Qual a diferença entre usar btn.setOnClickListener(new OnClickListener() { e public class MainActivity extends Activity implements OnClickListener{ Estive fazendo um curso de Android e meu professor falou que ...
O que é XHTML e quando deve ser usado? – html xml xhtml
Pergunta: O que eu sei é que o XHTML precisa ser XML válido. Isso implica, por exemplo, que todas as tags precisam ser fechadas. Por ...
Uma placa aceleradora de vídeo pode melhorar o desempenho não-gráfico? [fechada] – desempenho
Pergunta: Para desenvolver em Ruby on Rails, eu utilizo aqui uma máquina virtual do VirtualBox com Ubuntu Server 14.04 sem interface gráfica instalada. Recentemente descobri uma ...
Concat() VS Union() – c# .net
Pergunta: Qual a diferença entre Concat() e Union() ? Quando usar Concat() e quando usar Union() ? Somente pode ser usado em list ? ...

Deixe uma resposta

O seu endereço de email não será publicado. Campos obrigatórios marcados com *