|
|
||
        |
 |
Conheça o Plugfeed | » Início » Desenvolvimento » Evitando que mecanismos de busca cadastrem seu site
Conheça o Plugfeed | » Início » Desenvolvimento » Evitando que mecanismos de busca cadastrem seu site
--> |
|
Avaliação: Não avaliado | Publicado em: 04/09/2005
Evitando que mecanismos de busca cadastrem seu site
Fabrizio Gianfratti Fabrizio Gianfratti trabalha com desenvolvimento desde 1995 e desenvolve com ASP,ASP.NET (VB.Net, C#),JavaScript,SQl SERVER.
Tem grande experiência no desenvolvimento de portais e ferramentas de gerenciamento de conteúdo, atualmente trabalha como WebDeveloper em projetos para desenvolvimento de sistemas
na a área hospitalar. Disponibiliza muitas informações em seu site www.gianfratti.com
Evitando que mecanismos de busca cadastrem seu site
Mesmo que você não cadastre suas páginas em nenhum site de busca, alguns robôs podem fazer isso automaticamente e incluí-los em seus mecanismos de busca. Para que, esses "robôs" não incluam seu site, utilizamos o arquivo robots.txt e colocamos ele no diretório raiz do site Aqui vão alguns exemplos para excluir o site todo ou alguns diretórios User-agent: * usando o exemplo acima, impedimos que todos os robôs ( User-agent: * ) cadastrem o diretório raiz ( Disallow: / ) e todos os seu subdiretórios, ou o site todo. Agora para impedirmos que os robôs não cadastrem a pasta admin, usamos assim: User-agent: * Para impedir outras pastas, devemos apenas inserir mais linhas Disallow User-agent: * Para impedir que, apenas o Google, cadastre o site todo User-agent: Googlebot E por último, para liberar para todos os robôs (sem maldade), deixamos "Disallow" vazio User-agent: * Agora se você quiser que apenas algumas páginas não sejam inseridas nos mecanismos de busca, podemos usar meta tags <META NAME="ROBOTS" CONTENT="NOINDEX"> O problema é que alguns robôs não suportam essa tag. Depois que você fazer o seu arquivo robots.txt e colocá-lo no diretório raiz de seu site, você pode verificar se ele está funcionando utilizando o site Nesse site ainda tem alguns outros exemplos de como utilizar o arquivo robots.txt  |
   |
 |
 |
|
|
