A Noruega tem um serviço de trem que cobre todo o país, mas é preciso estar ciente de que, embora seja tecnicamente possível "chegar a qualquer lugar", o serviço ferroviário do sul da Noruega está (quase sempre) conectado à capital (Oslo). Na prática, isso significa que dois destinos bastante próximos (como Bergen / Stavanger ou Gjøvik Lillehammer) exigem uma parada em Oslo para trocar de trem e voltar. Isso torna a viagem mais longa do que tem que ser (muito mais tempo!)
Mas também há ônibus e balsas cobrindo rotas mais diretas. Muitas vezes, elas são cobertas por mais empresas locais, portanto, as opções que você tem e como reservá-las dependem muito de onde você está realmente planejando ir. Também vale a pena mencionar que a Noruega é muito longa. Se você quiser viajar do sul para o norte, é mais rápido (e potencialmente barato) reservar um voo do que pegar um trem ou um ônibus.
Para responder a uma pergunta geral com uma resposta geral: Sim, é possível chegar à maioria (senão a todos) lugares na Noruega usando o transporte público. Mas você tem que saber quais empresas estão fornecendo transporte para onde você está indo, o que pode variar de lugar para lugar. Serviços como o Rome2Rio podem ser um bom começo para descobrir opções, embora na minha experiência nem sempre seja 100% confiável e possa sugerir algumas conexões estranhas que não fazem sentido.