É possível e fácil.
Entras no menu do router, vais a esta opção e desmarcas "Interface Activada":
De seguidas clicas no botão Aplicar e está desligado o wireless.
Os menus actuais com o firmware mais recente são ligeiramente diferentes, mas acho que com esta imagem, com a devida vénia ao Peopleware, chegas lá num instante.