Estritamente anedótica, essa é a minha experiência, não quaisquer estudos ou fontes autorizadas para respaldá-la, mas, o fato de você estar usando massa congelada não deve afetar se você congelar o pão acabado de assar. Congelar e descongelar a massa repetidamente pode causar uma falha crescente porque muito do fermento pode ser morto. Um único congelamento funciona normalmente porque há muita levedura para perder alguns e ainda obter bons resultados. Acho que a massa congelada demora mais para subir, mas tem mais tempo porque você teve que descongelar. Mas uma vez que se levantou e foi assado, o pão é o que é e não tem memória de estar congelado. A levedura não está mais viva e o sabor está definido.
Em perder ou mudar, ele deve se comportar ao congelamento, assim como qualquer outro pão faria. Eu pessoalmente acho que os pães congelados saem um pouco mais secos e estragam mais rápido. Eles também podem pegar algum sabor de congelador. Mas o seu pão de massa previamente congelada não deve ter mais ou menos tendência para isso do que qualquer outro pão, ele deve se comportar da mesma forma.