Radiation parce que le conjoint est à la sécurité sociale suisse ?

Bonjour,
J'ai emménagé avec mon copain qui est suisse résident en France mais affilié à une sécurité sociale suisse.
Je ne travaille pas et je n'ai droit à aucune aide sociale en France, ni chômage, ni RSA. On m'a même coupé mon allocation handicapé car ses revenus sont pris en compte. Je me retrouve donc totalement dépendante de lui, simplement parce que nous avons décidé de vivre ensemble.
Et maintenant, j'ai été radiée de la sécurité sociale française parce qu'on me dit qu'il doit également me prendre en charge sous sa protection santé en suisse, moi et mes enfants, même s'ils ne sont pas de lui.
Nous ne sommes pas mariés et je suis française.
Je trouve cette situation totalement anormale et la dame qui traite mon dossier m'a répondu "Madame, il faut bien que quelqu'un paye pour vous ! Vous ne travaillez pas et votre concubin cotise en suisse, c'est à lui de payer pour vous."
Je pensais que la sécurité sociale était un droit pour tous les français et je me retrouve sans couverture maladie ni pour moi ni pour me enfants parce que mon copain est assuré en suisse ??
Est-ce bien légal tout ça ? Ca me parait aberrant !
La sécurité sociale en Suisse est bien trop chère, d'autant plus que je n'ai aucun revenus.
Je dois payer tous les soins de ma maigre poche ou bien renoncer à nous faire soigner.

Cette situation est-elle normale ?