Você nem precisa limpar nada, a menos que a sujeira seja gordurosa ou de outra forma inibir a colagem. Na verdade, você corre o risco de danificar a superfície de papel desprotegida do drywall.
Eu faria sua gravação e usaria uma boa primer / seladora de bloqueio de manchas.