En situation d'arrêt de travail et demandeur d'emploi, peut-on démarrer un travail avant la fin de la période d'arrêt ?

Bonjour,
Je suis en recherche d'emploi et inscrite à Pôle Emploi, placée en invalidité catégorie 1.
Suite à une hospitalisation en psychiatrie, mon médecin m'a prescrit un arrêt de travail de 2 mois.
Par l'intermédiaire d'une amie, j'ai eu une proposition d'emploi à temps partiel avec 1 mois d'essai.J'ai accepté ce travail en vous avisant par mail.
Mais, n'allant pas bien du tout, j'ai arrêté ce travail après une semaine, sur le conseil de ma psychiatre.
Elle m'a dit que je n'aurais pas dû reprendre un travail mais, qu'étant dans la période d'essai, je pouvais interrompre le contrat sans conséquences pour moi.
Mais maintenant j'ai des soucis avec Pôle Emploi qui me dit que je n'ai plus de droits, vu que j'ai arrêté de moi-même le travail.
Je suis perdue dans cette réglementation car je n'ai pas vérifié et ai fait confiance au médecin.
Pouvez-vous me dire si j'ai un recours par rapport à cette situation ?
Je vous remercie.