Três sugestões!
Pessoas como ameaças
Você pode manter monstros como monstros, mas também incluir pessoas como ameaças. As pessoas podem ser "conversadas", mas isso não significa que elas sejam razoáveis. Mas o que é divertido e interessante sobre as pessoas é que elas podem ser astutas - elas podem se adaptar, e elas abrem MUITAS possibilidades além de "lutar até a morte". Eu tenho uma lista grande de apostas de combate que você pode usar para basear estes em.
Isso ainda pode funcionar em um mundo com monstros - como muitas histórias de monstros acabam mostrando - as pessoas ainda têm rivalidades, ganância e ambição - e eles podem acabar tentando criar maneiras de fazer com que outras pessoas estraguem USANDO os monstros para sua vantagem (ou, imaginando que eles podem, que então se vira e aperta todos ...)
Predadores
Você não pode raciocinar com um tigre, mas um tigre não é um "monstro" em um sentido sobrenatural. Um tigre tentará caçar, e se parecer muito com um problema, se a presa lutar muito, ele irá correr.
Existem muitos monstros de estilo D & D que são basicamente predadores inventados (Owlbear, Bulette, Wyvern, etc.). Faça-os agir como um predador - eles atacam de surpresa, tentam agarrar a vítima mais fraca e mais saborosa e fugir. Às vezes, eles fazem ameaças de exibição para proteger seu território ou seus jovens.
Isso também muda o perfil de um "cenário de vitória" - expulsar a criatura ou simplesmente não tê-la provocado para atacar antes que você possa fugir também é um caso de vitória. Isso também significa que os personagens com as habilidades apropriadas de Conhecimento podem ler o que está acontecendo e encontrar soluções alternativas.
Mais do que a espada pode fazer
Em filmes de terror, o monstro geralmente só pode ser derrotado fazendo algo específico - você precisa fechar o portão, você precisa encontrar o sigilo, você precisa juntar as duas jóias, etc. etc. Quando você cria monstros configurado assim, e os jogadores sabem que suas armas não vão realmente valer, eles têm que considerar lutar defensivamente e se concentrar no objetivo.
Você também pode configurar situações como a horda de monstros e coisas como portões que precisam ser fechados. "Você tem que fechar o portão em 12 rodadas ou eles vão correr a cidade." "Você precisa sair da floresta, uma vez que você está fora da floresta, eles não têm poder sobre você ..."
Estes, obviamente, são mais artificiais, mas também fazem mais sentido do que simplesmente ter que lutar contra tudo até zero HP.
Um ponto chave é dar XP aos jogadores, mas eles derrotam o monstro - mostre a eles que vencer tudo não é a única maneira de obter sucesso.