[bots, crawl e motores de pesquisa] =- largura de banda

K

K0mA

Power Member
[bots, crawl e motores de pesquisa] =- largura de banda

Boas,

Para evitar surpresas no consumo excessivo de largura de banda no meu site {numa hora 1GB!} por parte de bots fiz um script em php que a partir de certos padrões bania o pedido feito ao servidor.

Qual não foi o meu espanto quando hoje fui ver se havia alguma coisa na "rede" e lá estava num ficheiro criado com esse propósito 38.100.41.107 7-12-2007 às 17:23:26.

Isto traduz-se em Performance Systems International e ao investigar no google encontrei mais queixas acerca deste bot.

Isto é um problema que pode afectar qualquer um, pretendia saber se alguém já se deparou com o problema, que soluções tem, etc...

Usando o .htaccess das duas uma:
Também há o robots.txt no entanto os bots só o respeitam se quiserem.
  1. permito acesso a todos e tenho uma lista dos que devo excluir ou,
  2. Não permito acesso a nenhum e tenho lista das execepções
Alguém tem uma lista destas?

Para a solução 2, visto ser a mais radical (e a mais fácil), para além do msn, yahoo, e google que outros bots devo permitir o acesso?

Como detectar um bot/acesso_não_humano em PHP?
 
Última edição:
K0mA disse:
[bots, crawl e motores de pesquisa] =- largura de banda

Boas,

Para evitar surpresas no consumo excessivo de largura de banda no meu site {numa hora 1GB!} por parte de bots fiz um script em php que a partir de certos padrões bania o pedido feito ao servidor.

Qual não foi o meu espanto quando hoje fui ver se havia alguma coisa na "rede" e lá estava num ficheiro criado com esse propósito 38.100.41.107 7-12-2007 às 17:23:26.

Isto traduz-se em Performance Systems International e ao investigar no google encontrei mais queixas acerca deste bot.

Isto é um problema que pode afectar qualquer um, pretendia saber se alguém já se deparou com o problema, que soluções tem, etc...

Usando o .htaccess das duas uma:
Também há o robots.txt no entanto os bots só o respeitam se quiserem.
  1. permito acesso a todos e tenho uma lista dos que devo excluir ou,
  2. Não permito acesso a nenhum e tenho lista das execepções
Alguém tem uma lista destas?

Para a solução 2, visto ser a mais radical (e a mais fácil), para além do msn, yahoo, e google que outros bots devo permitir o acesso?

Como detectar um bot/acesso_não_humano em PHP?
Clicar para expandir...


Parece-me a mim que a lista dos que não queres permitir é bem mais pequena do que as montanhas de ranges de ips que devem ter permissão.

logo é mais simples bloqueares quem não queres, penso eu.

Se esse problema te provoca degradação de performance da máquina e tens acesso às definições do apache, podes instalar um modulo de controlo de largura de banda por IP que ao mesmo tempo te restrinja o numero de ligações em simultaneo para cada IP.
 
Inicie sessão ou registe-se para poder participar.
Back
Topo