Eu não sou advogado e isso não é um conselho legal, mas isso é bastante básico. É legal, no sentido de que sua reserva é um contrato com o proprietário do B & B e você concordou com esses termos ao fazer a reserva. Não dar seguimento é o mesmo que não ler um contrato.
Você não lista o local, mas é possível, embora improvável , que a taxa de cancelamento não seja aplicável por causa da lei específica aplicável na jurisdição do B & B. Nesse caso, eles só poderiam cobrar o que é permitido por lei. Você teria que investigar as leis aplicáveis para buscar isso.