A quel date doit débuter l'arrêt maladie ?

Bonjour,

Pour résumer la situation, j'ai du m'absenter du travail au cours de la journée du 23 novembre dans l'après-midi (donc journée partiellement travaillée).

Mon médecin me fait un arrêt de travail à partir du lendemain (donc le 24 novembre), me disant que la journée du 23 j'ai effectuer une partie de ma journée de travail donc l'arrêt ne peut être pris en compte seulement le lendemain par la CPAM.

Et la surprise je reçois un avertissement de mon patron pour absence injustifiée l'apres midi du 23.
voici ma question est ce une erreur de mon médecin aurait-il quand même du mettre la date de début à la journée en partie travaillée?
Ou est ce mon patron qui ne comprend pas cette règle ?

En vous remerciant pour vos réponses.