Intérêt d'ajouter des trimestres sans salaire ?

Bonjour, voici ma situation :
Je suis né en 1962. Ma retraite est prévue en 2026. J'aurai travaillé moitié dans le privé (retraite général et AgircArco) et moitié dans le public (SRE et RAFP). Ma fin d'activité dans le privé s'est terminée fin 2003 et j'ai eu le chômage jusque décembre 2005.
Après avoir passé les concours administratifs, le suis devenu fonctionnaire depuis septembre 2006 qui est ma situation à ce jour. Sur 2006, je n'ai qu'un trimestre de validé (le dernier correspondant à la retraite de fonctionnaire).
Ma question : Ayant appris que dans la mesure où j'étais toujours en recherche d'emploi sur les 3 premiers trimestres 2006, je pouvais voir valider les 3 premiers trimestres, est-ce que je ne cours pas un risque de toucher une retraite plus basse si je les fais valider sachant que ma moyenne de salaire diminuerait ?