Refuser une reprise à temps partiel thérapeutique

Je suis en arrêt de travail depuis 3 ans et quelques mois pour anxiété chronique et dépression. La CPAM ne reconnaît pas d'invalidité.
Ma psychologue reconnaît que j'ai subit un traumatisme vis-à-vis du monde du travail et cherche à m'aider grâce au TCC mais dit que ça va devoir être fait très progressivement.
Le reste du corps médical minimise mon cas, me culpabilise de ne pas m'en être encore remis et insiste pour une reprise du travail en TPT, seul moyen de s'en sortir d'après eux pour mon cas.

En avril on m'a déjà poussé vers une reprise TPT (médecine du travail), en vue de la fin de l'arrêt (3 ans). Ça s'est soldé par une rechute immédiate après la visite de pré-reprise et j'ai dû être mis en arrêt par mon psychiatre.
Depuis, la médecine du travail m'impose avec insistance de choisir entre reprise et inaptitude et requiert une officialisation par mon psychiatre.

Aujourd'hui j'ai expliqué à mon psychiatre que s'il fallait vraiment choisir (le faut-il vraiment ?), je penchais fortement pour l'inaptitude puisque mon état stagne et que la situation avec mon employeur pèse sur mon mental.
Au final, il prolonge mon arrêt d'1 mois avec un TPT au bout, "pour essayer". Exactement comme 2-3 mois plus tôt. Je suis déjà dans tous mes états et en train de sombrer à nouveau.

Puis-je refuser une telle reprise sachant qu'elle ne semble pas être préconisée dans l'intérêt de ma santé ?