1. Este site usa cookies. Ao continuar a usar este site está a concordar com o nosso uso de cookies. Saber Mais.

robots.txt e um fórum

Discussão em 'Web Development' iniciada por crossroads, 13 de Abril de 2008. (Respostas: 8; Visualizações: 740)

  1. crossroads

    crossroads Power Member

    Tenho um site com um forum SMF no qual tenho que fazer com que os bots não o indexem nos motores de busca.
    Assim, quero meter um ficheiro robots.txt mas tenho uma dúvida.
    Dado que o url do forum é www.site.com/component/option,com_smf/Itemid,49/ o ficheiro ficará assim:

    Código:
    User-agent: *
    Disallow: /component/option,com_smf/Itemid,49/
    ou

    Código:
    User-agent: *
    Disallow: /Itemid,49/
    ?
     
  2. mascker

    mascker Power Member

  3. theforbidden1

    theforbidden1 Banido

    eu tenho uma duvida, eu tinha uma url desactivada no robots, mas ela foi mesmo assim parar ao google, isso está correcto?
     
  4. crossroads

    crossroads Power Member

  5. mauronacosta

    mauronacosta Power Member

    Está correctamente desactivada? ie, seguiste as instruções do robotstxt.org ?

    Está desactivada para o Googlebot ou para todos os robots?

    Se sim e a página aparece nos resultados quando a desabilitaste no robots.txt? Se foi à pouco tempo é possível que o motor de busca não tenha ainda incorporado a nova informação nos resultados.
     
  6. theforbidden1

    theforbidden1 Banido

    foi para todos os os robots.
    Eu então peguei e tive que remover manualmente do google.
     
  7. mascker

    mascker Power Member

    Boas,

    O Google já a podia ter indexado antes de teres colocado o robots.txt

    Da próxima vez que passasse pelo teu site iria ser removida.

    Saudações
     
  8. theforbidden1

    theforbidden1 Banido

    o google vai de quase todos os dias ao meu site ;)

    Eu modifiquei os robots.txt no dia em que adicionei aquela pagina
     
  9. mauronacosta

    mauronacosta Power Member

    Não te posso dizer quão regularmente o Google processa a informação dos robots.txt mas parece-me bastante plausível que o faça a intervalos menores do que aqueles que usa para refrescar o índice.
     

Partilhar esta Página