Mon employeur a t'il le droit de refuser ma reprise de travail en temps partiel demander par le médecin du travail ?

Sur les conseils de mon médecin j'ai effectué une pré-visite a la médecine du travail pour une reprise a temps partiel .Qui a donner sont accord avec certaines restrictions.Mon employeur se cache derrière ces restrictions pour refuser que je reprenne.
Alors qu'il s'agit que d'un travail bureautique demander et qu'il y a 1 intérimaire a plein temps et que mon plein temps n'est remplacer que part un temps partiel de 3h.