Para o espectro, o dano vem primeiro e depois a redução de HP
Não há regra geral que eu saiba que determinaria a ordem em que esses efeitos seriam aplicados em geral. No entanto, o texto da habilidade do espectro especificamente nos diz a ordem.O dreno de vida da aparição diz:
...its hit point maximum is reduced by an amount equal to the damage taken.
Observe que o efeito diz "dano recebido", o que significa que o personagem já recebeu o dano. Isso significa que o dano deve ser tomado primeiro. Essa é uma distinção importante não apenas em casos como o da sua pergunta, mas no caso em que a criatura atingida pelo ataque tem alguma forma de redução de dano (veja Como o Vampiric Touch interage com a Resistência / Vulnerabilidade? por exemplo).
Então o dano é recebido e então essa quantidade de dano é usada para calcular a quantia que o máximo de HP do personagem é reduzido. Esse efeito é então aplicado.
Então, neste caso, o personagem está inconsciente com 0/5 HP.
Para o que vale a pena, se a redução máxima de HP tinha vindo antes do dano, o personagem estaria realmente morto desde que o HP iria 26/26 - > 5/5 - > (-16) 0/5 1 . Isso seria um dano massivo, já que o dano causou mais que o dobro do máximo de 5 pontos de vida. Isso significa que o personagem seria morto instantaneamente.
1 - Obrigado @ PL457