Comment consulter le rapport medical fait par un medecin conseil de la sécu ?

Suite à un arrêt de travail de plus de 5 mois, j'ai été convoqué par un médecin conseil de la sécurité sociale. Ce médecin ne m'a pas examiné et n'a pas voulu consulter mon dossier médical, la consultation à durée 5 minutes (me demandant quel était ma fonction et mon traitement médical)... Il en a conclu que je devais reprendre le travail. Ce que j'ai fait.Je ne conteste pas sa décision qui est plus arbitraire que médicale. Toutefois depuis le mois de mai j'ai écrit 3 lettres en recommandés, plus de nombreux mails pour demander à consulter ce que le médecin conseil avait écrit sur moi durant sa pseudo-consultation. A ce jour je n'ai aucune réponse. Comment faire pour avoir une réponse ? Suis je bien dans mon droit de demander le compte rendu de médecin sur mon état de santé ?
Je vous remercie pour votre réponse.