É só a velocidade de download que diminui ? Como estão a memória (RAM) disponível, a utilização de memória virtual (disco), a carga de CPU ?
E que download ? Torrents ou tudo, incluindo downloads via web (http) ? Só um ou alguns torrents, ou todos ? Só um site, vários, ou todos ?
Se fizeres um teste no speedtest.net quando estás a experienciar a lentidão nos downloads, o teste, esse, corre à velocidade máxima habitual ou também partilha da mesma lentidão ?
Ligação por cabo ou wireless ? PC sozinho ou em rede com mais máquinas ? Qual é o ISP ?
O que descreves pode acontecer por um gazilião de coisas diferentes, desde antivirus ou outro software a correr em tempo real que vai diminuindo a performance do PC ao longo das horas, passando por programas a ocupar muita RAM e que começam a usar o disco (swap file) demasiado e este não consegue acompanhar os downloads de P2P, capping de velocidade do teu ISP que é accionada após uma certa quantidade de dados transferidos ou velocidade atingida, ou capping dos próprios servidores de onde estás a sacar ficheiros, problemas de hardware, etc...