Changement de situation professionnelle : quelle sécurité sociale : CPAM ou mon ancien régime spéciale ?

Bonjour, J'ai quitté la fonction publique d'Etat par "abandon de poste". Dès ma radiation fin février, j'ai prévenu le centre de Sécurité Sociale parisien du Ministère dont je dépendais. Celui-ci m'a dit qu'il fallait adresser une "Demande de mutation" à la CPAM du lieu de mon domicile (en Province). J'ai donc déposé cette demande remplie + PJ à la CPAM, le 10 mars.
La CPAM m'a répondu par courrier que je devais rester affilié auprès de mon ministère. Je l'ai contactée par téléphone ainsi que le centre de Sécurité Sociale parisien de mon ex-employeur afin d'essayer de dénouer tout cela mais chacun reste sur sa position : l'un me dit que je dois être affilié auprès de la CPAM, l'autre que je dois rester affilié auprès de mon ex-administration. SVP, pouvez-vous me donner enfin la solution afin de clore ce dossier car j'ai dossier de demande de CMU à déposer mais avec ce problème d'affiliation, je ne sais pas ou l'adresser. Merci par avance pour vos 2 réponses. Cordialement