Se o tens ligado por ethernet (cabo de rede), basta configurares os IP's e DNS's nas propriedades da ligação.
Vai ao painel de controlo, ligações de rede, botão direito sobre a placa de rede onde o router está ligado, propriedades, e duplo click em TCP/IP. Depois aí, basta preencheres os campos da seguinte forma:
- Endereço de IP: 192.168.1.2 (ou outro dentro da mesma gama 192.168.1.*, supondo que o router tem o IP original)
- Máscara de sub-rede: 255.255.255.0
- Gateway: IP do router, de origem vem o 192.168.1.1
Quanto aos DNS, verifica no website do teu ISP, ou liga para o apoio a clientes para te indicarem os endereços.
Se tiveres dúvidas quanto à configuração do router, diz.