Eu já vi o filme três vezes e nunca é explicado (no filme).
Também não é realmente explicado por que as pessoas deixam o quarto reino em primeiro lugar.
No entanto, de acordo com a A Disney Wikia ,
she [Ginger] got tangled up with The Regent of the Land of Sweets, The Sugar Plum Fairy, and was tricked into carrying out her nefarious deeds. Sugar Plum pinned all of these deeds upon Mother Ginger, convincing Marie to remove her from The Regent's council.