rsync por ssh sem password

[FONT=Arial, sans-serif]Para aceder a uma maquina remota usando o rsync é necessario inserir a cada acesso a respectiva pass da maquina remota em questão.[/FONT]
[FONT=Arial, sans-serif]Mas é possivel aceder as maquinas sem que seja sempre pedida a password da seguinte forma:[/FONT]

[FONT=Arial, sans-serif]Primeiro lugar criar a chave do cliente:[/FONT]

Código:

client$ ssh-keygen -t rsa

[FONT=Arial, sans-serif]Depois copiar a chave para o server: [/FONT]

Código:

client$ scp ~/.ssh/backup.pub 192.168.x.x:.ssh

[FONT=Arial, sans-serif]Depois no server:[/FONT]

Código:

server$ cd  ~/.ssh
server$ cat backup.pub >>   authorized_keys
server$ rm backup.pub

Depois ja se pode fazer um rsync:

Código:

rsync -avz [email protected]:/home/user/zwame/ /home/user/zwame

Que ja não é necessario a pass. Pois ja foi criada uma key e essa key ficou guardada no computador.
Isto é muito util para fazer backups periodiocos com o crontabs.
Mas quão seguro é isto?
Qualquer pessoa com a tal key gerada pelo meu [FONT=Arial, sans-serif]ssh-keygen pode ter acesso a minha maquina? [/FONT]
​