Eu não sei sobre o ponto de vista da segurança, mas do ponto de vista da textura - não os refrigere.
O problema é que eles se transformam em um tijolo quando estão frios - em vez de ser uma boa sobremesa, é algo que você tem que morder e temer que você vai lascar um dente.
Você pode conseguir contornar isso aquecendo-os novamente antes de veicular, mas não tenho certeza de qual seria a melhor maneira de fazer isso. (microondas? forno baixo?)