Como regra geral para viagens, os passaportes danificados devem ser substituídos. E mais cedo é melhor que mais tarde.
As regras reais variam de país para país, mas um passaporte danificado pode levar a atrasos na imigração ou até negações definitivas.
E com o seu dano específico, quando você considera que o chip está na capa e os detalhes da sua foto estão dentro, ter uma capa que foi recolocada acrescenta suspeita se ela contém o chip original emitido para você.