Para ligares o RJ11 directamente tinhas que ter um modem/router que tivesse essa entrada lá.
Só com um router não consegues fazer isso ou arranjas um modem/router, ou arranjas um modem ADSL que tenha saída RJ45, ligas a ficha RJ11 no modem e depois ligas o modem ao router por cabo ethernet(ficha RJ45).
Mesmo que arranjes um conversor(que duvido que haja) isso não de adianta de nada porque o router tinha que servir também como modem.
Cumps.