TL; DR
Não há diferença nos phasers, mas nas situações. A única vez que Khan é pego de surpresa, a outra vez ele vê o ataque chegando.
Resposta longa
Quando Kirk ataca a ponte do USS Vengeance junto com Khan e Scotty, eles retiram toda a tripulação, exceto o Comandante. Kirk, em seguida, dá um sinal Scotty acenando para ele, após o que Scotty dispara uma explosão phaser no Khan desavisado, levando-o completamente de surpresa.
Khan está com frio. Ele é mesmo assim?
É exatamente isso que Kirk e Scotty planejaram antes do ataque:
KIRK: The minute we get to the bridge, drop him.
SCOTTY: What? Stun him? Khan? I thought he was helping us!
KIRK: I am pretty sure we are helping him.
Khan não está preparado para este ataque surpresa das pessoas que ele pensava estar trabalhando com ele.
Eu acredito que essa é a principal diferença para o outro incidente que você mencionou, a luta na barcaça flutuante:
Enquanto Uhura se teletransporta para trás de Khan, ele ainda se torna consciente de sua presença a tempo de se virar e se envolver com ela.
Ele a vê apontando o phaser para ele e é capaz de se preparar física e mentalmente para o ataque. Isso é o suficiente para que o Khan geneticamente melhorado aguente vários disparos de phaser sem ser derrubado. Ele ainda tem um efeito severo sobre ele e permite que Spock finalmente o domine.
(Capturas de tela e transcrição tiradas diretamente do filme)