Quelles sont les conditions pour changer de médecin traitant ?

Bonjour,
Souhaitant changer de médecin traitant, je suis allé en consulter un autre.
Son cabinet se situe à distance quasiment égale de mon ancien médecin.
Même s'il semblait accepter ce changement, il me dit que malheureusement ça ne sera pas possible car il y a une proximité trop importante, et qu'en cas de contrôle de la Sécu il se ferait sanctionner !
Selon lui les seules raisons valables sont :

• déménagement éloigné
• décès ou retraite de l'ancien médecin

Il me semble portant que le choix d'un nouveau médecin traitant est strictement libre et personnel.
Le plus important est de le déclarer auprès de la Sécu.

Pourriez-vous me donner un supplément d'informations, et surtout me dire si les dires de mon "nouveau" médecin sont fondées ?

Je vous remercie.