Ele só não quer que ela saiba sobre seu passado como criminoso e prisioneiro. Embora isso possa não ser um grande problema para o Cosette , esta não é a experiência que o Valjean fez no passado. Eu diria que ele tem vergonha de seu passado criminoso e só não quer que ela saiba, mesmo se ele foi condenado por um crime tão ridiculamente pequeno e fez mais do que o suficiente para lavar seus pecados. Seu passado ainda o incomoda e assombra e ele fez a experiência (e é constantemente contada pela sociedade, e não menos por Javert) que um homem não pode mudar a si mesmo ou a seu passado. Então essa é uma mancha escura em seu passado que, embora nunca desapareça, ele pelo menos não quer que a Cosette saiba e a nuvem dela acredita nele (mesmo que isso não fosse provável que aconteça).
Outro fator pode ser que ele não quer que ela saiba toda a história, incluindo que ele é (ou pelo menos se sente) responsável pela morte de Fantine , algo que ele provavelmente nunca perdoou a si mesmo, mesmo que tenha feito o melhor para Cosette .
EDITAR: Se você está realmente perguntando sobre uma verdadeira "braçadeira" que ela quer levantar em uma cena específica (que eu não me lembro muito bem), então isso ainda pode ser visto em luz das explicações acima. Ele provavelmente estava escondendo sua "tatuagem" de prisioneiro que ele não queria que ela visse pelas razões acima mencionadas. Por que ela fez o movimento para levantá-lo é outra questão, no entanto. Talvez ela estivesse curiosa quando sentiu que ele estava escondendo alguma coisa ou talvez ela mesmo tirou suas próprias conclusões e estava procurando por um prisioneiro "tatuagem" de propósito.