Sim, o fantasma pode continuar drenando sua vida

Vamos começar com a mecânica da magia (MM, 147):

A defesa inicial é muito clara na direção em que o (s) alvo (s) deve (m) vencer um teste de Wis de 12 pontos de vida ou ficar com medo por 1 minuto. A próxima sentença é a nossa chave ( emphasis mine ):

If the save fails by 5 or more, the target also ages 1d4 X 10 years. A frightened creature can repeat the saving throw at the end of each of its turns...

O texto não indica "Se o primeiro salvamento falhar", mas simplesmente "Se o salvamento falhar". Se você falhar na primeira vez, repita o salvamento e, portanto, estará sujeito às mesmas regras e riscos para o envelhecimento.

Existem muitos feitiços / habilidades que afirmam "A primeira vez", mas o Horrifying Visage não é um deles e, portanto, o risco de falhas por 5 ou mais para o envelhecimento permanece.

E é um efeito legal!

O mais importante é a narrativa por trás do efeito. Você encontrou uma criatura horripilante e, se ficar completamente encantado com ela por falhas de 5 ou mais, a criatura ainda é horripilante. Permanecer sob seu poder depois de falhar novamente por mais de 5 força você a continuar envelhecendo, porque esse é um efeito razoável e legal. Pense em todos os filmes em que um fantasma envelhece alguém até a morte; é o que está acontecendo aqui.

Simplificando, os fantasmas são terrivelmente assustadores

Para quem quiser, Jeremy Crawford também concorda.

Horrifying Visage ages you every time you fail a save against it by 5 or more.

No entanto, você não TEM que tentar salvar novamente

A linguagem afirma claramente (ênfase minha):

A frightened creature can repeat the saving throw

Eles não precisam repetir o teste de resistência e podem simplesmente permanecer Assustados e não arriscar mais o envelhecimento.

No entanto - tenha cuidado com o metagaming! Se o seu personagem não souber não tentar sacudir o medo, provavelmente ele ainda deve tentar.

Não, a segunda falha não pode fazer você envelhecer novamente.

Como é sempre o caso, as magias fazem exatamente o que dizem que fazem, não mais - nem menos.

Nesse caso, Frightening Visage especifica que, na sua primeira falha, se você falhar em 5 ou mais, você envelhece 1d4x10 anos.

Em seguida, ele diz que você pode repetir sua defesa no final do seu turno para se livrar da condição assustada. Se a falha desta salvaguarda pudesse fazer com que envelhecesse novamente, explicitamente isso seria dito.