SIM
Na página 196 do PHB:
CRITICAL HITS
When you score a critical hit, you get to roll extra dice for the attack's damage against the target. Roll all of the attack's damage dice twice and add then together. Then add any relevant modifiers as normal.
Note que isso se refere apenas ao ataque - ele não diz ataque de arma, ou qualquer outra coisa que possa significar que isso não se aplica a ataques de magia. Quando você recebe um acerto crítico com um ataque de feitiço, você rola todos os dados de dano duas vezes.
Assim, um acerto crítico com o Cantrip Fire Bolt causaria 2d10 de dano ao invés de 1d10. Um acerto crítico com o Oráculo Cromático de 1º nível causaria 6d8 de dano ao invés de 3d8. E com um acerto crítico, o Guiding Bolt causaria 8d6 de dano ao invés de 4d6.