Não sei ao certo o que é "espuma branca e espessa", mas qualquer isolamento de base exposto deve ser coberto com um material de acabamento. Geralmente, o isolamento abaixo do nível é bom, mas o exposto ao sol e o clima degradam-se rapidamente.
Você não deve remover o isolamento, pois ele foi obviamente instalado para um propósito. O que você deve cobrir depende da situação, mas algumas opções típicas são madeira compensada marinha, um parge coat de alvenaria, ou folhas de vinil. Poste mais informações sobre sua casa se quiser uma sugestão mais específica.