Clés SSH: Demande de passphrase à chaque fois

Bonjour,

J'ai 2 serveurs (A et B) et j'aimerais que le serveur A puisse se connecter en SSH au serveur B sans introduire de mot de pass.
J'ai d'abord créé une paire de clés sur le serveur A:

ssh-keygen -b 4096

En uiste, j'ai envoyé la clé publique vers le serveur B:

ssh-copy-id user@ip_serveur_b

Ensuite, je me suis connecté avec la commande:

ssh user@ip_serveur_b

J'ai introduit le passphrase et la connection a eu lieu.

Par contre, si je me reconnecte de nouveau, il me demande encore le passphrase. Or normalement, je devrais pouvoir me connecter sans introduire le passphrase.

Ai-je fait une erreur ou oublié d'effectuer une action?