Invalidité: Changement d’adresse

Je suis en invalidité catégorie 2. Je déménagerais d’ici quelques années (pas le choix,, j’habite avec mes parents et ils partiront à la retraite en vendant leur résidence principal pour aller habiter dans leur résidence secondaire), obligé de changer d’adresse en habitant chez ma tante qui ne se trouve pas dans le même département que moi, pendant un moment. Mais ce qui m’inquiète c’est de me retrouver quelques mois sans ma pension d’invalidité + prévoyance. Il paraîtrait que lorsqu’il y a changement d’adresse de caisse CPAM et que l’on est en invalidité, le dossier médical reste toujours à la caisse initiale qui a mis la personne en invalidité. Le changement d’adresse ne concernerait donc que le changement de CPAM pour l’affiliation en tant qu’assuré ainsi que les prises en charges médicales et les remboursements de soins. Donc pour le paiement de la pension d’invalidité, le changement d’adresse n’aurait aucune incidence puisque c’est paraît il la caisse initiale qui continue de la verser.
Est ce que ces informations sont-elles véridiques? Car personnellement, je préférais que ça soit ainsi, en gardant mon médecin conseil attitré et tout ce qu’il y a autour. Pourriez-vous m’éclairer sur ce point là? Merci d’avance