Quando os personagens dos jogadores deixam ação baseada em turnos (ou seja, ordem de iniciativa) se estiverem em uma área hostil?

Si entrar ação baseada em turnos quando você precisar acompanhar o tempo * de perto. Você o deixa assim que não precisa desse acompanhamento próximo.

O rastreamento de tempo baseado em turnos domina o combate, mas também pode ser usado para perseguições (DMG 252), armadilhas complexas (DMG 121) e até cenas sociais tensas. Dito isto, é um mecanismo realmente desajeitado, ali em cima com alinhamento e "o que os HPs significam" com probabilidade de iniciar uma discussão.

Você está certo: enquanto os livros dizem que a iniciativa é lançada no início de cada encontro de combate **, eles não dizem nada sobre quando deixar iniciativa. O senso comum deve ser nosso guia: claramente não queremos sempre estar no "tempo de combate" ou nunca iríamos de um lado da cidade para o outro. Dado que às vezes não estaremos em tempo de combate, a questão é: quando? Sempre que você não precisar, a iniciativa e os turnos / rodadas de combate são uma ferramenta para você usar ou não o que precisa.

Algumas observações, da minha experiência jogando e correndo:

• as variantes de iniciativa também podem jogar de maneira estranha com os recursos baseados em "rolar por iniciativa" - seja atencioso ao empregá-los;
• Eu nem uso a iniciativa em todos os encontros de combate - às vezes não vale a pena (na minha opinião) e vou sugerir à mesa que realizemos um pequeno e simples combate de declaração e resolução simultânea;
• escapar de combate enquanto in a ordem de turno é amplamente interrompida no 5e, na minha opinião - no momento em que ambos os lados decidem que "correr pela minha vida" é mais importante do que "exercer minha vontade pela força das armas e pela força da magia".

^{* - Na medida em que a iniciativa e os turnos / rodadas fazem isso mesmo.}

^{** - O que pode ser um pouco desajeitado, como uma voz dos deuses gritando "ASSASSINO AGORA!" Para consertar isso, peço aos jogadores um conjunto de lançamentos de iniciativa cada vez que deixar ordem de turno, para ter em mãos na próxima vez que surgir.}

Você pode (em teoria) executar o calabouço inteiro a partir da jogada de iniciativa 1 e fazer com que os jogadores percorram o calabouço um por um. Isso permitiria que você fizesse uma rolagem por trás da tela para determinar uma iniciativa de monstros, e que esse monstro não apareça para os jogadores até que seja a vez dos monstros.

PROS

• Os jogadores teriam que ficar na ponta dos pés e não saberão se / quando um ataque está prestes a acontecer
• Ajuda a gerenciar as ações dos jogadores (oferecendo uma maneira mecânica de proporcionar a cada jogador a mesma quantidade de tempo na "tela")

CONS

• Qualquer ação de personagem que demore mais do que o turno 1 financia esse jogador pela duração da ação
• Pode (e vai) retardar o rastreamento da masmorra para exatamente isso, um rastreamento.

resposta de nitsua60 aborda a mudança de escala de tempo, então tentarei abordar o outro aspecto de sua pergunta: iniciativa contínua.

Você deve rolar por iniciativa novamente se todos os inimigos foram derrotados, escaparam ou se renderam, e os jogadores encontrarem um novo inimigo. Por quê? Porque deve ser possível surpreendê-los novamente. Considere o seu próprio exemplo, onde os jogadores estavam lutando perto de uma porta para outra sala. Talvez eles andem até a porta e colidam com um cubo gelatinoso imóvel bem na frente dela. Ou eles alcançam a porta, e acaba sendo uma imitação. Ou a porta se abre, apenas para encontrar alguém já apontando uma besta carregada para eles. Ou talvez o encontrem vazio e comecem a procurar por portas secretas, quando um poltergeist invisível repentinamente joga uma mesa neles.

Todos os tipos de ameaças podem estar ocultos entre seções curtas da masmorra. Os novos inimigos devem ter a oportunidade de surpreender os jogadores, a menos que eles cheguem literalmente no meio da luta. Da mesma forma, não deve ser negada aos jogadores a oportunidade de surpreender inimigos inocentes.

Como observação final, lembre-se de que sempre que os jogadores se deslocarem a uma distância significativa, você deve usar as regras do ritmo da viagem. A menos que suas masmorras consistam inteiramente de salas pequenas, você precisará solicitar o ritmo da viagem e a ordem de marcha para determinar não apenas quanto tempo leva para chegar do ponto A ao ponto B, mas também se eles notam algum inimigo ( e vice versa). Como o Capítulo 8 (Aventuras) do Livro do Jogador menciona, as velocidades individuais dos personagens não devem ser usadas para viajar:

Every character and monster has a speed, which is the distance in feet that the character or monster can walk in 1 round. This number assumes short bursts of energetic movement in the midst of a life-threatening situation.

The following rules determine how far a character or monster can move in a minute, an hour, or a day.

Isso ainda se aplica a masmorras, não importa quão perigoso seja.

Depende do GM

Normalmente, a ação baseada em turnos termina sempre que todos os inimigos imediatos foram derrotados, se rendem, etc. Isso significa que os turnos começam quando você entra na sala com inimigos e termina quando são derrotados. Ter turnos terminados aqui permite que os jogadores façam outras coisas. Ou seja, procure tesouros, prepare armas e magia, etc. Você pode continuar rodando, mas o único problema é que isso diminui a progressão na masmorra.

Quanto à iniciativa de rolar novamente, às vezes as pessoas mantêm a mesma ordem e só rolam novamente para ver qual ataque lateral primeiro. Novamente, é altamente dependente de como o GM deseja executá-lo.