Eu diria que a resposta depende principalmente de uma coisa: você e seus quatro jogadores restantes sentem vontade de continuar a campanha?
Se você fizer isso, então vá em frente. Invente uma explicação sobre por que os personagens dos dois jogadores que deixaram não estão mais no grupo; evite matá-los, no entanto, é geralmente uma má forma fazê-lo; e continue se você quiser e ainda estiver se divertindo juntos.
Além disso, do que você descreve, parece que houve uma falha de comunicação por parte do jogador feminino. Então, eu não me sentiria mal por isso, parece que você deu a ela muitas oportunidades de conversar e ela optou por mantê-lo engarrafado por dentro até que o incidente a fez decidir sair.