Isso parece ser um equívoco geral; você não está viajando "em um passaporte", você está viajando como "uma pessoa". Todos os eventos históricos, estadias, vistos, crimes, etc. são registrados para a pessoa, não para o passaporte; O passaporte é apenas uma ferramenta para identificá-lo como pessoa. Em outras palavras, você não consegue começar de novo obtendo um novo passaporte.
Como conseqüência, viajar em um passaporte inválido é ilegal e pode levá-lo a ser rejeitado / processado, multado ou preso, dependendo do país e talvez do humor da imigração. A maioria dos países considera um crime ou contravenção usar identificação inválida, e provavelmente proibirá você de obter um visto para qualquer país - ninguém confia em alguém que tenha uma identidade falsa. Você pode até acabar preso por usar um passaporte roubado, e sua embaixada pode ser de pouca ajuda, exceto transferi-lo para uma prisão em casa. Claro, você pode ter sorte e nada acontece, porque eles não percebem isso. Provavelmente não é aconselhável tentar.