Uma faca funciona muito bem para mim.
Se for realmente granito, é difícil danificá-lo com lâminas de aço, exceto por cortes repetidos.
É claro que você não será capaz de remover todos os fragmentos do velho calafetar, mas enquanto houver uma borda limpa e nua e significativa no espaço, é bom o suficiente para manter um novo aplicativo.
Um poderoso aspirador de loja acoplado a uma ferramenta de fresta que corre lentamente ao longo da brecha deve fazer um ótimo trabalho ao remover toda a poeira e remover alguns calafetados velhos e soltos, inacessíveis à faca.