Este é definitivamente um daqueles momentos em que eu não recomendo substituir gelatina por ágar; é simplesmente muito duro para marshmallows.
Se você pode obter um pouco de metil celulose, ele funciona ótimo para marshmallows. Ao contrário de outros agentes gelificantes, a metil celulose hidrata em água fria e se ajusta quando aquecida, então você pode assá-la com calor direto e ela ainda manterá sua forma. Tudo o que você precisa é de metilcelulose, baunilha, açúcar e água.
Você pode encontrar a receita completa em brincar com fogo e água (veja "methocel marshmallow ", segundo na página).