fibromyalgie demande d'invalidité possible?

Bonjour, j'ai enfin un diagnostic après plus de 3 ans d'errance médicale: fibromyalgie et endométriose.
Maintenant que je sais ce de quoi je souffre, j'explique à mon rhumatologue que je travaille à mi temps depuis 3 ans car je ne peux vraiment pas faire plus. Il me conseille de me rapprocher de la CPAM afin de faire une demande de pension d'invalidité.
Cependant, en cherchant des infos sur le net, je m'aperçois que cette pension est accordée à des personnes en arrêt maladie longue durée ou accumulant une série d'arrêt. Cela n'est pas mon cas puisque, même si c'est dur, j'arrive à faire 20h/semaine.
Aurais je dû garder mon emploi à plein temps et me mettre en arrêt, ne sachant pas de quoi je souffrais?
Le pole emploi et la CAF ne me complète pas mon salaire inférieur à 700€. la situation est dure pour moi actuellement.
Que dois je faire?