Dá.
O router deverá ter algumas portas para cabo (aposto em 4) para poderes ligar 4 pcs e dps aínda terá a antena para então, se necessário usufruires do wifi.
Acho que todos os routers wireless têm que ter uma porta ethernet para a config das mesmas, não é? Eu pelo menos já me passaram alguns e todos eles têm-na. O único que tinha uma porta ether foi o fornecido com o pacote da Telepac wireless da Linksys, de resto tanto o WL500-G da Asus como o D-Link 604-T (actualmente ao serviço), têm portas ether.