Basicamente, sim. Viajando fora de temporada você não precisa fazer reservas.
Mas se você viajar na época baixa / fechada você pode encontrar muitos lugares fechados e os poucos que estão abertos muito populares e às vezes reservado quando você quer ficar. E quando os dias de semana já estão em baixa temporada, os finais de semana ainda podem estar no meio ou mesmo na alta temporada. Além disso, você precisa estar atento a fins de semana prolongados e a feriados (escolares) na área mais ampla da qual as pessoas podem vir visitar seu local escolhido.
Hoje em dia é fácil reservar on-line, alguns dias antes da chegada, ou pelo menos verificar a disponibilidade alguns dias antes, para reservar ou ligar com antecedência quando você vê muito poucas opções para ficar onde e quando quiser ficar .
Isso vale para albergues e hotéis mais baratos que eu conheço por experiência, eu acho que isso também será verdade para hotéis mais caros e para parques de campismo e outros.
Sites de reserva de hotéis estão prontamente disponíveis e você pode usar vários para checar suas descobertas.
E você pode ligar para um hotel em que está pensando, eles podem dizer se você precisa reservar com antecedência ou podem fazer uma reserva por telefone para reservar um quarto para você.
Como indicado em outra resposta, você também pode fazer reservas com política de cancelamento gratuito. Isso permite que você tenha certeza de um lugar para ficar, mas permitirá que você altere seus planos. Gostaria apenas de fazer reservas quando há menos quartos para ser tido e com a intenção de utilizar o quarto, como os proprietários do hotel gostaria que melhor. Mas quando você é livre para cancelar, você é.
Outra consideração pode ser a hora do dia em que você chega. Se você chegar no início do dia, com boas chances de ir para outro lugar, se não encontrar um lugar para dormir, você pode correr mais riscos do que quando chegar no final do dia ou depois do último trem e ônibus sair cidade saiu.