Isso provavelmente exigirá arbitragem e uma decisão do DM
Aqui está o problema. Específico é geral. Exceto neste caso, você tem duas regras específicas contra uma regra geral.
A regra geral para a morte de criaturas está no PHB pg.198:
Most DMs have a monster die the instant it drops to 0 hit points, rather than having it fall unconscious and make death saving throws. Mighty villains and special nonplayer characters are common exceptions; the DM might have them fall unconscious and follow the same rules as player characters.
As exceções, que são substituições específicas para isso, são Instant Death e Knocking a Creature Out.
Você já citou essas duas fontes na sua pergunta, então vou dividi-la.
Morte Instantânea - regra específica que ocorre se, e somente se, dano máximo for aplicado a um personagem / criatura que exceda sua vida máxima, levando em conta o dano necessário para reduzir para um estado inconsciente. Isso significa que um alvo com 9 HP eliminados de um total de 15 HP exigiria um total de 24 de dano a ser causado em um único turno para matá-lo completamente.
Batendo uma Saída de Criatura - regra específica que ocorre quando um alvo é descartado para 0 HP. Você pode escolher causar esse dano não-letal na ocorrência do ataque.
Agora, por que essa é uma decisão do DM? Porque mesmo um ataque não-letal pode acabar se tornando um ataque letal por acidente. Digamos que você dê um soco em um goblin muito ferido e declare a intenção não letal de derrubar a criatura. Então você rola seu ataque e faz um acerto crítico .... e você está jogando um Half-Orc, então você também tem Savage Attacker reforçando seu golpe.
O dano que você causa reflete o ataque que foi feito. O que significa que um golpe crítico e não-letal significa que você errou. Por exemplo, eu narrava isso como: "Você acerta o alvo na cabeça com a parte chata da sua lâmina para derrubá-lo, mas no estado enfraquecido você estala o pescoço com a força do golpe." (Ou algo semelhante entre essas linhas, como hemorragia interna)
Nenhuma destas regras específicas prevalece sobre a outra. Então você também pode governar como o Mestre que a intenção não-letal é sempre bem-sucedida e, portanto, o dano é irrelevante, desde que seja suficiente para tornar um alvo inconsciente.
O que isso se resume é um caso raro em que duas regras específicas entram em conflito, então a arbitragem se torna um requisito se houver discordância. Em última análise, rolling high / low pode ser a maneira mais fácil de determinar o resultado quando dividido entre duas escolhas.