EDIT: Só notei que você disse que não pretende ir a uma piscina, mas essa é a minha primeira sugestão. Você não tem que nadar ou qualquer coisa para usar as instalações, pague apenas a taxa de entrada. Este é provavelmente o chuveiro mais barato e mais comum, mas eu também tenho outras sugestões:
Para a Europa, eu iria para a água. Piscinas são bastante comuns para encontrar e a taxa de entrada é barata. Eu nunca vi um que não tenha chuveiros disponíveis. Spas na Hungria têm chuveiros e alguns cobram muito pouco para uma estadia inferior a 3 horas (muitas vezes você paga pelo dia e recebe dinheiro de volta quando você sai em um determinado período de tempo). A Islândia tem banhos termais em quase todas as cidades e toma banho. Exceto pelos grandes turistas, como a Lagoa Azul, a entrada não é cara.
O próximo lugar seria ao longo das praias. Alguns oferecem apenas chuveiros ao ar livre, o que obviamente não é ideal para lavar totalmente, mas os que estão em áreas construídas às vezes têm locais de serviço pequenos com chuveiros e armários individuais.
Uma ideia que vem à mente é ir a um ginásio. Eu nunca tentei um na Europa, mas em muitos lugares eles podem vender um passe de um dia para o equivalente a alguns dólares. Eles podem até ter um passe livre para visitantes de primeira viagem.