Das regras básicas do jogador, página 76:
If you have temporary hit points and receive more of them, you decide whether to keep the ones you have or to gain the new ones.
Então, nessa situação, você pode escolher ter 5 pontos de vida temporários ou 10 - depende de você.
Armadura de Agathys especifica que o efeito de criaturas nocivas que atacam você acontece 'enquanto você tem esses pontos de vida'. Se você substituir os pontos de vida que deu a você com diferentes pontos de vida, você não tem mais esses pontos de vida, você tem outro conjunto de pontos de vida, então você não teria efeito de dano.
Casos como este são presumivelmente porque você pode escolher entre pontos de vida temporários em vez de obter automaticamente a quantia maior.