Qual é a lógica de "que so aceitas pessoas com ligações encriptadas", se não for para poderes cifrar a ligação que vais estabelecer com essa pessoa?
De qualquer modo, de acordo com istohttp://forum.transmissionbt.com/viewtopic.php?t=2631, o Transmission já tem Encryption support.