Indemnités journalières suite séjour étranger

Bonjour,
Suite à une longue période de guérison pour mon cancer du sein, je me suis senti dans le besoin d'aller voir ma famille à l'étranger.
Avec l'ordre de mon médecin d'effectuer des séances de kiné pour mon bras qui en garde énormément de séquelles.
Suite à cela, j'ai envoyé les factures à la sécurité sociale.
Je viens de recevoir un courrier, car il considère que je suis partie à l'étranger sans autorisation et donc me demande de payer un trop versé qui correspond à la somme de mon séjour à l'étranger. Je n'ai jamais était en arrêt maladie et je n'étais pas du tout informé de cette autorisation.
Pensez-vous que je peux demander un titre gracieux pour cette action et si oui comment m'y prendre ?
Merci par avance
Bonne journée