robots.txt e um fórum

[crossroads]

Tenho um site com um forum SMF no qual tenho que fazer com que os bots não o indexem nos motores de busca.
Assim, quero meter um ficheiro robots.txt mas tenho uma dúvida.
Dado que o url do forum é www.site.com/component/option,com_smf/Itemid,49/ o ficheiro ficará assim:

User-agent: *
Disallow: /component/option,com_smf/Itemid,49/

ou

User-agent: *
Disallow: /Itemid,49/

?

 

[mascker]

Boas,

O primeiro está correcto

Mais info: http://www.outfront.net/tutorials_02/adv_tech/robots.htm

Saudações

 

[theforbidden1]

eu tenho uma duvida, eu tinha uma url desactivada no robots, mas ela foi mesmo assim parar ao google, isso está correcto?

 

[crossroads]

Boas,

O primeiro está correcto

Mais info: http://www.outfront.net/tutorials_02/adv_tech/robots.htm

Saudações

Obrigado!

 

[mauronacosta]

eu tenho uma duvida, eu tinha uma url desactivada no robots, mas ela foi mesmo assim parar ao google, isso está correcto?

Está correctamente desactivada? ie, seguiste as instruções do robotstxt.org ?

Está desactivada para o Googlebot ou para todos os robots?

Se sim e a página aparece nos resultados quando a desabilitaste no robots.txt? Se foi à pouco tempo é possível que o motor de busca não tenha ainda incorporado a nova informação nos resultados.

 

[theforbidden1]

Está correctamente desactivada? ie, seguiste as instruções do robotstxt.org ?

Está desactivada para o Googlebot ou para todos os robots?

Se sim e a página aparece nos resultados quando a desabilitaste no robots.txt? Se foi à pouco tempo é possível que o motor de busca não tenha ainda incorporado a nova informação nos resultados.

foi para todos os os robots.
Eu então peguei e tive que remover manualmente do google.

 

[mascker]

Boas,

O Google já a podia ter indexado antes de teres colocado o robots.txt

Da próxima vez que passasse pelo teu site iria ser removida.

Saudações

 

[theforbidden1]

Boas,

O Google já a podia ter indexado antes de teres colocado o robots.txt

Da próxima vez que passasse pelo teu site iria ser removida.

Saudações

o google vai de quase todos os dias ao meu site

Eu modifiquei os robots.txt no dia em que adicionei aquela pagina

 

[mauronacosta]

Não te posso dizer quão regularmente o Google processa a informação dos robots.txt mas parece-me bastante plausível que o faça a intervalos menores do que aqueles que usa para refrescar o índice.