1. Este site usa cookies. Ao continuar a usar este site está a concordar com o nosso uso de cookies. Saber Mais.

[bots, crawl e motores de pesquisa] =- largura de banda

Discussão em 'Web Development' iniciada por K0mA, 7 de Dezembro de 2007. (Respostas: 3; Visualizações: 702)

  1. K0mA

    K0mA Power Member

    [bots, crawl e motores de pesquisa] =- largura de banda

    Boas,

    Para evitar surpresas no consumo excessivo de largura de banda no meu site {numa hora 1GB!} por parte de bots fiz um script em php que a partir de certos padrões bania o pedido feito ao servidor.

    Qual não foi o meu espanto quando hoje fui ver se havia alguma coisa na "rede" e lá estava num ficheiro criado com esse propósito 38.100.41.107 7-12-2007 às 17:23:26.

    Isto traduz-se em Performance Systems International e ao investigar no google encontrei mais queixas acerca deste bot.

    Isto é um problema que pode afectar qualquer um, pretendia saber se alguém já se deparou com o problema, que soluções tem, etc...

    Usando o .htaccess das duas uma:
    Também há o robots.txt no entanto os bots só o respeitam se quiserem.
    1. permito acesso a todos e tenho uma lista dos que devo excluir ou,
    2. Não permito acesso a nenhum e tenho lista das execepções
    Alguém tem uma lista destas?

    Para a solução 2, visto ser a mais radical (e a mais fácil), para além do msn, yahoo, e google que outros bots devo permitir o acesso?

    Como detectar um bot/acesso_não_humano em PHP?
     
    Última edição: 7 de Dezembro de 2007
  2. spastikman

    spastikman Banido


    Parece-me a mim que a lista dos que não queres permitir é bem mais pequena do que as montanhas de ranges de ips que devem ter permissão.

    logo é mais simples bloqueares quem não queres, penso eu.

    Se esse problema te provoca degradação de performance da máquina e tens acesso às definições do apache, podes instalar um modulo de controlo de largura de banda por IP que ao mesmo tempo te restrinja o numero de ligações em simultaneo para cada IP.
     
  3. K0mA

    K0mA Power Member

    Hum...

    Obrigado pela dica do apache.
    Quanto às meta-tags os bots não respeitam!
     

Partilhar esta Página