Contrôle médical par l'employeur

Bonjour,
Vu la pression subie depuis ma reprise du travail le 9 mai après 6 mois d'arrêt dû au stress de non respect de mes restrictions médicales ( je suis rqth et en invalidité),mercredi dernier j'ai appelé le médecin du travail. Je lui expliqué ma situation au travail : personne ne m'adresse la parole, les informations indispensables à mon travail ( réglementation bancaire) ne me sont pas données ( changement pendant mon arrêt)...
Vu mon état " psychologique" au téléphone, le médecin du travail m'a dit de ne pas reprendre le boulot le lendemain. Du coup mon généraliste m'a prescrit un arrêt de 10 jours. Vu les difficultés avec mon chef, j'étais sûre d'être contrôlée ! Je ne dors pas plus de 2 h depuis que j'ai repris. Je passe donc mes aprèm allongée ds l'espoir de dormir 1 peu, en coupant le son du téléphone. Samedi, un contrôleur est passé à 15:30. Je n'ai pas de sonnette sur la rue mais mon portail n'est jamais fermé à clé, juste tiré pour éviter les chiens du voisin. Le médecin contrôleur, ne s'est pas avancé jusqu'à la porte pour sonner et à laissé 1 avis de passage" contrôle non fait, pas de réponse"
Mon chef va sauter la dessus, alors que j'étais bien chez moi. Comment justifier, prouver que j'étais bien là a attendre ce contrôle ? Et que si le médecin avait tiré le portail et sonné à la porte d'entrée le contrôle aurait eu lieu