Législation sorties pendant arrêt maladie

Bonjour,
Sur mes arrêts de travail, mon médecin a coché les cases "oui" pour sorties autorisées, "oui" pour sorties sans restriction et "non" pour activités autorisées. Pourtant l'agent du service social de la CPAM que j'ai vu ce matin m'a dit qu'au regard de la législation, je dois rester chez moi et ne sortir que pour : faire mes courses, voir mon médecin traitant et mon psychiatre.

Je souffre d'anxiété généralisée, dépression et trouble de la personnalité borderline, ainsi que de douleurs physiques persistantes depuis des années, suite à différents traumatismes. "Sortir" est littéralement pour moi une question de survie, malgré l'anxiété que cela peut générer, car tout ce qui m'aide à aller mieux se trouve à l'extérieur : psychologue pour suivre thérapie ICV, psychothérapeute pour EFT, EMDR, hypnose..., ostéopathe et kiné spécialisées pour soulager les douleurs, famille et amis qui m'apportent soutien et vie sociale, salle de sport pour reprendre une activité sportive régulière, médiathèque, qlq heures de bénévolat pour aider et me sentir utile à la société...
Le discours de l'agent m'a vraiment bouleversée, car c'est comme si elle m'avait dit que je n'avais pas le droit de faire tout ce qui permet d'aller mieux.

J'aimerais avoir confirmation de ses propos et si c'est bien le cas, comment y remédier, car je vis seule, dans un minuscule studio, et rester isolée chez moi serait tout sauf bénéfique (bonjour les idées noires et les pensées su*c*da*res...).
Merci par avance.