Depende da masmorra / caverna, e se o seu mestre achar que isso se aplica

A primeira condição do Natural Explorer é bastante vaga:

When you make an Intelligence or Wisdom check related to your favored terrain, your proficiency bonus is doubled if you are using a skill that you’re proficient in.

A segunda condição é um pouco menos vaga:

While traveling for an hour or more in your favored terrain, you gain the following benefits:

Portanto, para a primeira condição, o que você está fazendo dentro do terreno deve ser relacionado para isso. Portanto, se você estiver dentro de uma caverna / masmorra, e a experiência em seu terreno natural se aplicar diretamente à verificação que você está fazendo, a dupla proficiência se aplica a ela. Por exemplo, digamos que você esteja dentro de uma caverna e encontre alguns minerais. Mesmo que o seu Mestre não o classifique como em seu terreno preferido, e ele pense que seu conhecimento de minerais se aplica, isso poderá ajudá-lo a identificar esses minerais se a verificação de habilidades for algo em que você é proficiente. Essa habilidade é puramente baseada na relação no seu terreno, para que um Mestre possa determinar que sua experiência nas montanhas se qualifica para cavernas, se acharem que sim, mas se não o fizerem, você não obtém o dobro de proficiência.

Para o segundo, afirma que você precisa ter viajado in seu terreno por uma hora ou mais. Isso significa que os benefícios se aplicam se você estiver viajando por pelo menos uma hora e se estiver fora do terreno. Portanto, se você estiver em uma caverna / masmorra em um terreno montanhoso (e estiver viajando há pelo menos uma hora), essas habilidades se aplicam. Se a caverna / masmorra estiver em um terreno diferente (conforme determinado pelo seu Mestre), elas não se aplicarão.

Se uma masmorra / caverna está "nas montanhas", sejam montanhas do outro lado do mundo ou com o que você está familiarizado, o RAW é qualificado como terreno montanhoso, por isso é qualificado. Se for "um vasto reino subterrâneo habitado por drow, esfoladores de mente, abolição e outras criaturas estranhas e sinistras" (definição de Wikipedia), está escuro, etc.