Demande d'invalidité pendant un arrêt de travail ?

Bonjour,
Je suis en arrêt de travail depuis mai 23, je suis travailleur handicapé et mon handicap s'est alourdi au point que je ne peux pas reprendre mon travail (le motif de mon arrêt n'était pas direct à mon handicap mais une conséquence dû à une fatigue extrême).
Le médecin du travail, le psychologue et mon médecin traitant me disent qu'il faut que je demande l'invalidité pendant mon arrêt, mon médecin traitant m'a fait un courrier et m'a demandé de prendre RDV avec le médecin conseil or en appelant, la conseillère m'a dit que je ne pouvais pas avoir de RDV avec le médecin conseil pour ce type de demande "je ne peux pas demander l'invalidité en étant en arrêt".
J'ai des certificats de mon ophtalmo, j'ai des certificats Cerfa de la constitutions de mon dossier de renouvellement MPDH.
Je suis monophtalme, et de l'oeil qui me reste je suis myope, astigmate, presbyte et pour finir j'ai un début de cataracte qui ne peut pas encore être opérée donc ma vision est floue et travailler sur écran et sur papier me devient impossible.
Qu'est-ce que je doit faire pour avoir un RDV avec le médecin conseil où comment faire la demande d'invalidité ?
Merci de votre aide.
Bien cordialement.