Depende inteiramente de qual é a temperatura real para "quente". Se estiver acima 140F (ou seja, fora da "zona de perigo"), você deve estar bem.
A pesquisa limitada que fiz sobre as temperaturas "quentes" de várias panelas de barro parece variar de 145F a 200F, então depende muito do modelo. Você pode querer ler o manual ou ir ao site do fabricante e descobrir qual é a temperatura real do seu modelo específico.
No entanto, se você não pode realmente descobrir qual é a temperatura quente da sua panela de barro, minha regra usual com a segurança dos alimentos é o proverbial "em caso de dúvida, jogue fora". Não vale a pena o risco.