Se você estiver instalando tapetes e usando pad de boa qualidade, não há razão para remover esse mastique antigo.
Se você estiver instalando vinil, madeira, laminado ou ladrilho, provavelmente precisará removê-lo, ou pelo menos raspe-o para baixo, para que o novo piso permaneça nivelado, uniforme e liso.