Seus jogadores são novos no jogo (e novos em seus jogos). A menos que você tenha dito a eles o que esperar, como eles poderiam saber como é o seu jogo? Ficar preso investigando pequenos detalhes ou tentando entrar pela porta pode ser o que é o seu jogo. Acho que você deveria ser mais ativo na liderança do jogo na direção em que gostaria de vê-lo.
When they got to the castle, they spend about half an hour (real time, not in-game time) banging the door waiting for it to be opened.
A solução para esse problema é simples em princípio: não deixe eles fazerem isso. Você não é obrigado a deixar que os jogadores tentem bater na porta por tempo indeterminado em tempo real. Considere o seguinte exemplo:
GM: You stand before the heavy, wooden castle door. It's eerily silent.
Player 1: I knock on the door.
GM: You rap on the door, but hear no response, no footsteps, nothing from the inside.
Player 1: I knock on the door again, then.
GM: Still no response.
Player 2: I bash the door too.
GM: Still no response.
et cetera...
Isso pode durar arbitrariamente, a menos que você ou os jogadores o parem. Faça algo assim:
Player 1: I knock on the door.
GM: you rap on the door, but hear no response, no footsteps, nothing from the inside.
Player 1: I knock on the door again, then.
GM: You spend a while knocking on the door, but getting no response, it becomes apparent that if there's anyone in there, they're not going to open the door for you.
Se você quer ser realmente explícito sobre isso - o que eu recomendo especialmente para novos jogadores e GMs, adicione algo como:
GM: You're going to have to find some other way inside.
O truque importante é que você não deixa seus jogadores passarem tempo com nada chato e passa o tempo longo e chato que os personagens passam batendo na porta com uma ou duas frases. Tentativas repetidas de tarefas mundanas são algo em que você não precisa se concentrar e, na verdade, não deveria --- o tempo gasto no universo não precisa ser espelhado em tempo real.
Da mesma forma, seu exemplo sobre o buraco no teto não deve levar uma hora em nenhuma circunstância: na primeira vez que um jogador tenta se agarrar lá, você pode encontrar uma razão pela qual ele não pode ir para lá:
GM: The hole is just large enough to let a bit of light in, but there's no way you can fit through it.
Ou, para seguir um caminho alternativo:
GM: You climb up the hole and notice, to your disappointment, that it leads only through a crack in a rock outside the castle, surrounded by thickets that obscured it from you before. This clearly isn't the right way in.
Faça o que fizer, não faça seus jogadores tentarem algo e rolar por minutos. Se a tarefa é algo em que o fracasso não seria interessante e eles poderiam apenas tentar novamente, deixe-os obter sucesso sem rodeios. Se algo não der certo, diga que é impossível após a primeira tentativa.
Algumas palavras sobre ferrovia e linearidade
Você diz que seus jogadores parecem pensar no jogo como uma história simples e linear, mas, para ser sincero, parece uma avaliação muito boa. Você tem um castelo em que planejou muito conteúdo, acessível apenas através das cavernas em que também planejou muito conteúdo e fica chateado porque os jogadores não estão envolvidos com o seu conteúdo. Você está executando uma campanha ferroviária.
Um equívoco comum é que a ferrovia é ruim, ponto final. Não é. Ferrovia é bom, como seu próprio gênero, mas você necessidade estar aberto a seus jogadores sobre que tipo de jogo é esse e necessidade ter pistas claras para os jogadores seguirem para que funcione. Sem instruções claras, seus jogadores ainda estão tão ferroviários quanto antes, mas passam um tempo tropeçando, entrando pela ferrovia invisível em vez de se divertir avançando ao longo dela.
Algumas palavras sobre contar histórias
Even after repeatedly failing to do what they think they should do, they just keep going, until I tell them to try something else, reminding them that not everything in the world is there just to be in their story.
O que você está dizendo é contrário aos princípios usuais de RPGs e narração de histórias. Você está fazendo uma história com os jogadores: tudo no mundo existe para essa história e o prazer dos jogadores (incluindo você, o GM), e não para mais nada. Não é por isso que existe o mundo inteiro em que você está jogando?
Diferentes gêneros de ficção lidam com diferentes aspectos da narrativa de maneira diferente, mas um princípio bastante importante que funciona entre gêneros é o de Arma de Chekhov: se há uma arma pendurada na parede em uma peça, ela está lá para ser disparada. De maneira mais geral, se uma obra de ficção descreve algo, o leitor / espectador / ouvinte / jogador assume que isso será importante e geralmente está absolutamente certo.
Isso não é necessariamente verdade, nem necessariamente realista (para grupos que preferem esse tipo de coisa). No entanto, é tão predominante na narrativa normal que é essencial que você garanta que seus jogadores e você estejam na mesma página sobre como ela deve ser aplicada, porque seus jogadores vão assumir que ela se mantém, consciente ou não.
Pense bem: você passou por um problema ao descrever um buraco atraente no teto e disse que eles estavam embaixo do castelo que deveriam se infiltrar - parece óbvio para quem não ouviu o seu lado da história de que o buraco é de importância vital!
A mesma ferramenta de página e conversando com seus jogadores
Por fim, confira as práticas Ferramenta Mesma Página que fornece algumas coisas para discutir com seus jogadores sobre o tipo de jogo que você deseja jogar. Observe que não é uma pesquisa, nem uma lista de itens para votar, é um auxílio à discussão. Isso pode ajudar a esclarecer que tipo de jogo você deseja jogar, no geral.
Você também nunca deve hesitar em conversar com seus jogadores, fora do jogo, se não estiver se divertindo com a forma como o jogo está acontecendo, e incentivá-los a serem abertos com você de maneira semelhante. O tempo da mesa é valioso demais para ser gasto em rolagem para tentativas inúteis de gancho ou outros obstáculos.